香港海关的首长为海关关长，由副关长协助处理部门事务。二零零四年七月，海关设立特别职务处，协助财经事务及库务局研究在香港实施商品及服务税。海关设有六个分处。各个分处分别由一名首长级人员掌管。该六个分处分别是：
- 行政及税务处；
- 边境及港口处；
- 情报及调查处；
- 特别职务处；
- 贸易管制处；以及
- 文职行政处。
2. 行政及税务处由助理关长(行政及税务)掌管，负责财经事务及库务局管辖范围内有关应课税品的事宜、四个主要决策局（即工商及科技局、经济发展及劳工局、财经事务及库务局和保安局）管辖范围内的代理服务协调工作，处理国际海关联络及合作的事宜，以及研究在香港实施商品及服务税。该处亦负责海关部队的整体人事管理及一般行政工作，包括策划及管理中央资源及部门设施。该处辖下科系包括应课税品科、管理事务科、部队行政科、训练及发展科和海关联络科。
3. 边境及港口处由助理关长(边境及港口)掌管，负责保安局管辖范围内与所有出入境管制站海关管制和便利贸易职能有关的事宜，特别负责清关，以及侦查、防止和堵截走私活动的工作。该处辖下科系包括机场科、边境及口岸科和港口及海域科。
4. 情报及调查处由助理关长(情报及调查)掌管，负责保安局管辖范围内有关毒品调查的事宜、工商及科技局管辖范围内有关保护知识产权的事宜，以及财经事务及库务局管辖范围内有关保障应课税品税收的事宜。该处亦负责制订政策和策略，进一步推广在海关行动、调查和打击贩运危险药物、执行有关充公从贩毒／有组织罪行所得资产以及管制化学品的规定中使用情报和风险管理。该处辖下科系包括海关毒品调查科、情报科、版权及商标调查科、税收及一般调查科和特遣队。
5. 特别职务处由助理关长(特别职务)掌管，并由两个筹划小组组成。该处负责详细研究在香港实施商品及服务税（GST），尤其是对进口货品征收商品及服务税的相关事宜。自成立以来，该处已对海关管制进行了一连串研究，并且将有关详情交由财经事务及库务局常任秘书长(库务)领导的商品及服务税研究委员会审议。特别职务处于二零零五年一月二十六日解散，并并入行政及税务处。
6. 贸易管制处由高级首席贸易管制主任(贸易管制处处长)掌管，负责工商及科技局管辖范围内有关贸易管制的事宜、经济发展及劳工局管辖范围内有关保障消费者的事宜，以及贸易管制主任职系的整体人事管理工作。该处辖下科系包括一般调查及制度科、贸易调查科、纺织品转运调查科（2005年重组为紧贸安排及货物转运管制科）、贸易视察科和检控及消费者保障科。
7. 文职行政处由高级首席行政主任(海关政务秘书)掌管，负责有关内务行政、财务管理、内部核数及资讯科技发展的所有事宜。文职行政处下设资讯科技科、财务管理科、内务行政科、新闻组及内部核数组。
8. 除了上述六个分处外，海关还设有两支队伍和一个课别，分别为视察队、管理支援队和投诉调查课，由海关副关长直接管辖。
9. 二零零四年年底，部门的编制为4 947个职位，其中九个属首长级职位，3 822个为海关部队职位，508个为贸易管制主任职系职位，而一般及共通职系职位则共有608个。
|
截至二零零四年十二月三十一日的部门组织图。
