由于实行单位成员制，哪些部门成为中央政法委的组成单位，成为制度设计的第二个层次的主题。其焦点亦有两个：⑴如果职责联系不强的机关进入政法委，则分散了精力，尤其是将与司法不相干的事务提交入该机制，可能造成中共中央一贯警惕的利用专政职能解决人民内部矛盾等问题；⑵因政体限制，有些机构如进入政法委，造成事权界限扩张，对政体造成伤害。

基于以上考虑，一方面，工商、税务、质检、海关、土地、环保等机关，虽然是重要的行政执法主体，但从未被安排进入政法委。另一方面，原本作为政法委成员的一些机构退出。政法委在晚近日益专门化为以刑诉、维稳等事务为中心工作的协调机制。在委员的构成上即为直接参与以刑案为主的政法事务的各机关。政法委构成的外延，依时势变化、司法改革和政策认识的变化而不断调整，具有一个历时性的生成过程。

1、增加解放军内部主管军法的机关。1980年1月成立中央政法委，时任解放军总政治部副主任的黄玉昆为委员。直接的原因在于便利对即将开始的两案审判进行指导。1979年7月中共中央决定成立中央两案审理领导小组，对林彪、江青两个集团进行审查处理。在押的黄永胜等人都曾是军队高级干部，由军队抽调干部侦查、预审。总政为全军最高的政治机关，黄玉昆为分管保卫的副主任，被吸收为两案审理领导小组成员之一。1980年组成的特别法庭，黄玉昆为副庭长。更制度化的基础性原因在于实践中有大量军地互涉案件，军内侦查机关保卫部和军事检察院、军事法院由总政领导，吸收主管的副主任便于军地互涉案件协调。此后历届中央政法委组成成员中，总政均为成员之一。2015年军改之后，总政治部改为军委政治工作部，另增设了中央军委政法委，军委政法委书记李晓峰中将为成员。

2、增加国家安全部。安全部的前身是中央调查部，1955年4月，军委联络部转移到中央系统内成立中央调查部，由李克农任部长，日常工作由中办主任杨尚昆联系，大事请示时任政治局委员、中央秘书长的邓小平解决。 1956年八大后，杨尚昆任书记处候补书记，邓小平任政治局常委、总书记。在党内隶属上，政治局委员、书记处常务书记彭真任主任委员的中央法律委员会和此后的中央政法小组，与中央调查部平行，两者没有领导、指导关系。1983年，中央同意彭真、陈丕显提出的建议，将中央调查部与公安部反间谍等职能的局合并，设立国家安全部。1983年9月，全国人大常委会决定国家安全机关承担原由公安主管的间谍、特务案件的侦查工作，是国家公安机关的性质，行使宪法和法律规定的公安机关的侦查、拘留、预审和执行逮捕的职权。此后，国家安全部部长成为中央政法委成员。

3、增加武警部队。1983年，军委将担负内卫执勤任务的地方部队和警卫目标全部移交公安部，1983年4月成立“中国人民武装警察部队总部”，1995年后武警领导管理体制改为“两统一分”体制，“由国务院、中央军委双重领导，实行统一领导管理与分级指挥相结合的体制”。2009年《人民武警法》第7、10条对武警在刑事诉讼中的权力、地位进行了详细规定和正式确认，规定武警协助公安、国家安全、司法行政、检察、审判机关依法执行逮捕、追捕、押解、押运任务，协助其他有关机关执行重要的押运任务”，“参加处置暴乱、骚乱、严重暴力犯罪事件、恐怖袭击事件和其他社会安全事件”。武警承担了日益重要的治安、刑侦工作，分担了部分刑诉职能。武警部队司令员在2008年被增加为中央政法委成员。

4、1990年后，中共中央要求“各级政法委员会都要有同级人民政府负责人中的一位副职参加。”此前的惯例，1958年中央政法小组五人成员中即有政治局候补委员、副总理乌兰夫。1959年政法小组成员中有时任国务院政法办公室副主任吴德峰。时下，在地方各级政府中，有一位分管公安、司法行政、信访和联系国家安全、法院、检察院的副省/市/县/区长，习惯称政法副省/市/县/区长，为政法委成员。在国务院一层，1982年机构改革时，副总理职位由13人减为2人，另改设国务委员，“国务委员相当于副总理”，为国务院党组成员、国务院常务会议组成成员。2003年，中央要求“各级党委可根据实际情况和干部任职条件，在领导班子职数范围内，有条件的地方逐步实行由同级党委常委或政府副职兼任省、市、县三级公安机关主要领导。”晚近的三任公安部长、党委书记均由国务委员兼任，在中央政法委担任政法委副书记。因此，另由一位公安部党委副书记资格的副部长，以单位成员中公安部的成员身份，出任政法委委员。这种构成对于1986年成立的国务院法制局（1998年后更名为国务院法制办公室）负责人未列入政法委成员，也构成一个解释。因为国务院法制办主要行使行政法规起草、部委规章审查等行政立法事权，与诉讼并无大的楔入，此外，作为国务院内设办事机构，其工作由分管政法的国务委员进行领导，职能已被代表。

5、1991年中央决定成立社会治安综合治理委员会，下设办公室，同政法委合署办公。中央综治办主任为正部级干部，担任中央政法委委员。

在以上单位新增为政法委成员单位的同期，民政部和全国人大常委会有关部门负责人不再成为中央政法委成员，使得政法委的职能更加清晰。

对于“政法委员会”一词，本文认为来自“政法”，而“政法”是法律作为政治上层建筑一部分，服从政治工作大局之意的略称。但司法实践中的老干警常认为，“政法委”的“政”字，是指民政部，原因即在于民政部长期归为“政法口”留下的记忆。民政部在1969年之前称为内务部，内务部建国初期事权范围极为宽泛，如部长谢觉哉说内务与外交相对，政府的工作除了外交之外都是内务，在内务里，除了专管部门管理之外的工作，都是内务部的工作。内务部从1949年即划入政法口，受政务院政治法律委员会指导，1954年一届人大后，由国务院政法办公室指导。但1954年12月，陈毅在第三次全国民政工作会议上讲话后，民政以优抚、复员、救灾和社会救济为工作重点，职权较建国初期大为收缩。1959年后，流动人口管理（原称游民改造）、收容和遣返事务突出，该事项与1957年全国人大常委会通过、由公安机关执行的《治安管理处罚条例》紧密相关。1959年5月，中央政法小组从五人成员增加到九人，其中有钱瑛。钱瑛1953年之后先后任中央纪委常务副书记、中央监委副书记、监察部部长。1959年监察部撤销后，任中央监委副书记、内务部部长。 1969年内务部撤销，1978年恢复设立民政部，在1978年设立的中央政法小组成员中，有民政部长程子华。1980年1月成立中央政法委员会，程子华再次成为委员。但是，民政部的各项主要工作，与诉讼并无切入，与其他政法机关也少有需要协调之处，另因组织调整，在1988年改设中央政法小组之后，民政部不再是成员之一。