香港海關的首長為海關關長，由副關長協助處理部門事務。二零零四年七月，海關設立特別職務處，協助財經事務及庫務局研究在香港實施商品及服務稅。海關設有六個分處。各個分處分別由一名首長級人員掌管。該六個分處分別是：
- 行政及稅務處；
- 邊境及港口處；
- 情報及調查處；
- 特別職務處；
- 貿易管制處；以及
- 文職行政處。
2. 行政及稅務處由助理關長(行政及稅務)掌管，負責財經事務及庫務局管轄範圍內有關應課稅品的事宜、四個主要決策局（即工商及科技局、經濟發展及勞工局、財經事務及庫務局和保安局）管轄範圍內的代理服務協調工作，處理國際海關聯絡及合作的事宜，以及研究在香港實施商品及服務稅。該處亦負責海關部隊的整體人事管理及一般行政工作，包括策劃及管理中央資源及部門設施。該處轄下科系包括應課稅品科、管理事務科、部隊行政科、訓練及發展科和海關聯絡科。
3. 邊境及港口處由助理關長(邊境及港口)掌管，負責保安局管轄範圍內與所有出入境管制站海關管制和便利貿易職能有關的事宜，特別負責清關，以及偵查、防止和堵截走私活動的工作。該處轄下科系包括機場科、邊境及口岸科和港口及海域科。
4. 情報及調查處由助理關長(情報及調查)掌管，負責保安局管轄範圍內有關毒品調查的事宜、工商及科技局管轄範圍內有關保護知識產權的事宜，以及財經事務及庫務局管轄範圍內有關保障應課稅品稅收的事宜。該處亦負責制訂政策和策略，進一步推廣在海關行動、調查和打擊販運危險藥物、執行有關充公從販毒／有組織罪行所得資產以及管制化學品的規定中使用情報和風險管理。該處轄下科系包括海關毒品調查科、情報科、版權及商標調查科、稅收及一般調查科和特遣隊。
5. 特別職務處由助理關長(特別職務)掌管，並由兩個籌劃小組組成。該處負責詳細研究在香港實施商品及服務稅（GST），尤其是對進口貨品徵收商品及服務稅的相關事宜。自成立以來，該處已對海關管制進行了一連串研究，並且將有關詳情交由財經事務及庫務局常任秘書長(庫務)領導的商品及服務稅研究委員會審議。特別職務處於二零零五年一月二十六日解散，並併入行政及稅務處。
6. 貿易管制處由高級首席貿易管制主任(貿易管制處處長)掌管，負責工商及科技局管轄範圍內有關貿易管制的事宜、經濟發展及勞工局管轄範圍內有關保障消費者的事宜，以及貿易管制主任職系的整體人事管理工作。該處轄下科系包括一般調查及制度科、貿易調查科、紡織品轉運調查科（2005年重組為緊貿安排及貨物轉運管制科）、貿易視察科和檢控及消費者保障科。
7. 文職行政處由高級首席行政主任(海關政務秘書)掌管，負責有關內務行政、財務管理、內部核數及資訊科技發展的所有事宜。文職行政處下設資訊科技科、財務管理科、內務行政科、新聞組及內部核數組。
8. 除了上述六個分處外，海關還設有兩支隊伍和一個課別，分別為視察隊、管理支援隊和投訴調查課，由海關副關長直接管轄。
9. 二零零四年年底，部門的編制為4 947個職位，其中九個屬首長級職位，3 822個為海關部隊職位，508個為貿易管制主任職系職位，而一般及共通職系職位則共有608個。
|
截至二零零四年十二月三十一日的部門組織圖。
