在香港回归之前，政治部一直处于英国军情五处的控制之下。1947年，由于军情五处（MI5）和军情六处（MI6）出现了印度秘密情报局争端，双方划分了工作区域。未经政府的批准，军情六处不得在英联邦国家及地区展开情报工作，而政治部的主要工作是对军情五处负责。1997之后，香港已经是“非英联邦”地区，这里自然就成了MI6的工作区域。
　　政治部成立的目的，就是保持英国对香港的统治。1949年之后，对此最大的威胁，显然是宣布不承认任何不平等条约的社会主义中国。英国政府非常务实，他们很清楚：要想最低成本地保有香港，既不能和中国政府闹翻，也不能任由其在香港本土发展基层组织。
　　1967年，政治部和香港左翼的表面和平被打破。内地的政治变化对香港产生重大影响，双方斗争开始趋白热化。政治部成为当时镇压的急先锋，设置在摩星岭的政治部专用的域多利监狱（别称白屋或者摩星岭四号），关押了大批左派人士（包括学运、工运和左派媒体的成员）。在香港早期左派人士眼中，摩星岭四号犹如渣滓洞、白公馆。
　　在一些重大行动中，政治部经常配合英军行动，曾经出动航母上的直升机突袭左派在北角的总部。实际上，政治部几乎是完全独立于香港警察的特工部门。当时，政治部的人事管理和薪酬发放均直接来自于英国本土的MI5。除了进行逮捕和对左派组织的渗透之外，政治部还负责监控和迫害所有亲中人士。著名爱国商人霍英东就成为其密切关注的对象。他的多次投资均因为政治部和港英政府的插手而惨败，后来不得不放弃香港本地的房地产行业。
　　在当时的香港，政治部的权力是没有任何部门能比的。据一些老香港警察回忆，即便在街头巡逻时看到枪战，只要持枪者亮出证件并且说：“SB（Special Branch，政治部的英文缩写），做事！”巡警就只能掉头走。

香港回归之后的英国特工

　　随着中英1984年的谈判落下帷幕，政治部的解散也开始进入倒计时。毕竟，特工团体不可能像其他公务员队伍那样平稳过渡，英国政府给予了他们英国护照和相应的退休安排。其中，仅有负责香港高官保护的G4组被新政府继承下来，改编为政要保护组（VIPPU）。特首董建华在其任内拒绝成立新的政治部。随着反恐战争的爆发，过去政治部负责的反恐业务被新成立的反恐特警队接手。
　　当然，在部署撤退的时候，英国人走得并不“干净”。解放军驻港部队进驻之后，在基地内部发现了大量窃听器，英军驻港总部所在的添马舰基地新建大楼内更是密集，有些是在刚刚兴建时就已经被装好，几乎无法将其全部清理干净，所以该大楼几乎处于停用状态。驻港部队仅仅将其作为一处普通基地使用，而并未用作司令部。
　　第二任特首曾荫权上台时，将特首官邸重归当年的港督府（回归后改名礼宾府）。在入住前的装修中，有关部门在礼宾府内也发现了大量窃听器，至于是否港英特工所为就不言而喻了。当年董建华上台后，将自己家定为特首官邸显然不是随性而为。 　　与此同时，MI6当然也没闲着。无论是回归前还是回归后，除了以外交人员身份活动之外，在香港活动的MI6特工主要以企业雇员身份为掩护。MI6的活动非常低调，即便在港英时期的香港政府中也没有相应的对口单位。唯一被确认属于MI6的常设机构，仅有在香港小西湾附近山上的一处监听站，回归前已经拆除。回归之后，MI6的活动变得更加隐蔽，MI5则彻底撤出香港。

　　按照一般间谍工作的发展套路，领事馆必然是官方间谍的主要活动区域，而没有外交身份保护的人员，在失手之后往往很难受到保护。然而，与其他地方相比，香港有着独特的环境。首先，香港并无与间谍罪相关的法律，即便是在港英时期，政治部在抓获他国间谍之后，也只能采取驱逐出境的方式处理。也就是说，在间谍并未涉及到其他刑事犯罪的情况下，香港政府最多只能将其驱逐出境，而不能采取任何有效的措施将其控制起来。
　　更有意思的是，由于香港与内地不同，承认双重国籍。因此，当一名拥有香港永久居民身份的英国籍香港公民，在香港被发现进行间谍活动，即便香港政府打算将其驱逐出境，对方如果向香港法院提起诉讼，香港政府就会陷入一场旷日持久的官司中。因为政府无权将一个并未犯罪的香港永久居民驱逐出境，否则就等于剥夺了他的香港居住权利。实际上，这也是香港多年来一直是间谍乐园的根本原因——你在世界上很难找到另外一个如此便利而又没有禁止间谍活动的法规的地方。
　　同时，你在他国从事间谍活动，事后逃往香港。即便互相之间有刑事犯罪递解约定，香港政府也无权将你交出去，因为递解的对象必须犯下香港本土也视为犯罪的行为，而从事间谍活动在香港并不是犯罪。由于英国在香港经营多年，所以有大量拥有香港永久居住权利的英国籍人才储备。如果这些人在香港从事间谍活动，那么政府几乎对其毫无办法。

其他情报机构在港情况

　　解放战争结束后，香港是当时少数可以和内地保持邮政、资金及人员往来的地区，因此也就成了台湾特工组织对内地渗透的桥头堡。1955年，台湾特工曾策划了震惊世界的“克什米尔公主号“爆炸案。尽管当时中国公安部门已经知会香港警方和客机所属的印度航空公司，却未被重视。国民党特工在香港成功安放炸弹，幸好原定乘机的周恩来并未登机，然而多名代表团成员不幸遇难。港英政府不愿意因此担上责任，政治部查封了十多个台湾情报机关的据点，参与爆炸案的特工全部被通缉，终生不能踏入香港及英联邦国家。
　　“克什米尔公主”号事件之后，台湾情报机关在香港的活动受到了一定程度的遏制。尤其改革开放之后，人们可以自由进入内地，香港作为桥头堡的地位也开始弱化。
　　如今，台湾的情报机关仍旧在香港设有情报站，然而其活动也主要以搜集公开资料为主，不再进行暗杀、爆炸等行动。台湾官方在香港的办事机构，以中华旅行社和台北文化交流中心等为主。这类机构的工作人员不享受任何外交特权。因此，台湾情报机构也没有必要以此身份为掩护，反而是以散落民间的台商，或者一般市民身份为掩护更加安全。
　　1947年，美国中情局成立后，就在香港设立情报站。其位置在美国领事馆内，工作人员多半以外交身份作为掩护。由于当时中国长期处于完全封闭的状态，中情局对中国的渗透往往以技术侦查为主，大部分人力情报是采取与台湾和英国情报机关合作的方式，避免自己的特工人员有所损失。在作为桥头堡的香港，中情局可以非常方便地获得内地的报章、档案和文献资料等等，通过这些材料了解内地的政治、经济和军事情况。
　　尽管美国情报机关擅长技术侦查，然而香港本地并无高山，而且香港政府也不可能允许美国架设高灵敏度阵列监听天线。因此，美国在香港的监听站规模并不大，大多数仅为获取香港本土的无线电信息而存在。
　　由于香港电信相关法律的限制，进行非法窃听是存在风险的。至于斯诺登曝光的美国情报机关对香港中文大学的网络节点以及对香港海底通信电缆的窃听，倒是美国情报机关最喜欢做的事情。因为监控网络可以在香港以外完成，而对海底通信电缆进行监控则可以在公海下手。对美国情报机关而言，这毫无风险，甚至人员都不需要出现在香港本土。
　　早在清朝，日本就利用香港作为渗透华南的跳板，至今仍然如此。在改革开放之前，广州交易会是唯一的中国产品出口平台。在展会期间，外国人员可以随意进出广州。很多间谍都会在香港开设一家贸易公司，在广交会期间进入内地活动。内地反间谍机关同样也不会放弃这个机会，广交会的翻译和工作人员由大量的国家安全人员临时兼任。这种游戏持续时间长达30年，改革开放之后，广交会才渐渐变成了纯粹的商务活动。冷战中的日本情报员自然也不会放过广交会，当然他们在香港主要还是以获取经济情报为主。
　　由于近年来香港保钓团体活动频繁，日本情报机关也对此类团体进行了一定程度的监控。甚至有媒体报道称，日本已经在保钓团体内部安插了卧底。
　　尽管香港的法律制度对情报人员相当有利，然而大部分情报工作者仍旧小心翼翼，避免因为刑事犯罪而遭香港警方逮捕。