中华人民共和国第一位公安部部长是罗瑞卿
在组建公安部的同时，罗瑞卿已开始着手组建新中国的公安部队（不设宪兵、警备队）。率先成立的中国人民公安中央纵队，在建国初期社会治安极其复杂的情况下，保障了党中央和北平市的安全。
按照1949年9月通过的《中国人民政治协商会议共同纲领》和1950年4月中共中央政治局的决定，人民解放军统编为国防军和公安部队。罗瑞卿任公安部队司令员兼政治委员，程世才为副司令员，李天焕为副政委，吴烈、熊伯涛为正副参谋长。至1951年10月，组成正规公安部队20个师又23个团，共18万余人。此后，全国内卫、边防、地方公安部队都统一整编为人民解放军公安部队，总定额近54万人，受中央军委统一领导。
公安部队在罗瑞卿领导的十年间，协同有关方面平息了反革命暴乱和武装叛乱340起；建国初期配合国防军剿匪220万人，50年代末基本肃清国内残匪；捕歼、击沉、击伤和缴获敌船58艘，击落、击伤敌机4架。公安部队还赴朝鲜执行了抗美援朝作战中的后方警卫任务，包括维持战地和后方治安、看押俘虏和警卫板门店谈判等。
1953年7月16日，当时的国民党凑集了1.2万余人的军队，配备飞机、舰艇、坦克，由敌十九军军长指挥，从金门出动，一个伞兵大队由台湾新竹出发配合，向边防公安部队八○团守备的福建东山岛进犯，扬言要以此揭开“反攻大陆”的序幕。八○团进行了英勇激烈的阻击，激战两昼夜，坚守主阵地，直到国防军援兵到达，敌军遭重创，残部狼狈逃窜。毛主席对此做出高度评价，指出：“此次反击战，打破了国民党‘反攻大陆’的梦想，美帝国主义也挨了当头一棒。”
荡涤旧社会的污泥浊水
建国初期，国民党残余势力活动猖狂，流氓地痞、恶霸盗匪继续为非作歹，青楼妓院、烟馆赌场等依然存在，对新生的共和国起着严重的破坏作用。罗瑞卿一上任，即着手清扫这些旧社会遗留下来的污泥浊水。
首先是进行反动党团骨干限期登记。罗瑞卿说，“对反动党团骨干分子、特务、宪兵等采取限期登记自首的政策，在于解散反动组织，禁止他们的反动活动”。他严格强调政策界限，党团骨干只登记区分部委员以上，以免打击面过宽；对服从登记、坦白罪恶，交出名单、武器、通讯器材的，一般不予逮捕；对抗拒登记或登记后继续从事反动活动者，则逮捕管训，以“教育多数，打击少数”。罗瑞卿当时兼任北京市公安局长。北京的登记工作进行了三个月，反动党团特组织基本上被摧毁。
接着是严厉打击城市盗匪。北京、上海等13个大城市至1950年6月，共缉捕盗匪5477名，盗匪案件急剧下降。到1950年底，大城市盗匪活动已基本消灭。
与此同时，罗瑞卿还指示从严打击流氓阿飞活动。北京市解放初期，有“三星团”、“攮子队”等团伙，经常身带木棒、匕首出没于天安门、西单、西四等地，打群架，调戏妇女。还有所谓“搂包”、“锣车”、“猴车”等封建行会性质的团伙，或独霸车站客运，敲诈勒索，聚众行凶；或混迹三轮车队，强拉旅客敲诈，结伙行窃旅客货物；或解放前为外国人“拉皮条”，解放后仍诱迫妇女卖淫、勒索暗娼。各地对流氓的打击得到了广大群众的拥护，赞扬人民政府给人民除了大害。北京处决东郊大流氓孙起后，当地群众拍手称快：“这一下可晴了天了。”上海处决罪孽深重、继续作恶的流氓恶霸“码头春宝”、“江北大亨”时，刑场周围群众放鞭炮庆贺。
从19世纪开始祸害中国人的鸦片烟毒，当时在新解放的城市仍然弥漫。重庆刚解放时，有制毒者330家，烟馆3084家，每天卖出烟土达3400两。成千上万的瘾君子卖房卖地、卖妻女为娼。罗瑞卿指示对贩毒、售毒、制毒、运毒的大犯、惯犯及开烟馆的大业主、大窝主要坚决打击，发现和破获重大毒品案件他亲自过问、具体指导。如破获大毒贩庞辅臣勾结天津市禁烟局干部套购大量烟土，又勾结民警掩护装船，运往上海销售案。上海市从解放初至1952年上半年的三年中，共逮捕惩治毒品犯1.23万余人。一些毒犯转入地下，并与境外国民党残余势力勾结，继续向内地偷运毒品。衡阳铁路局在三反运动中查出走私鸦片、海洛因、吗啡共157万两。中央决定，再进行一次群众性禁毒运动，从1952年8月至11月的三个月中，全国又挖出毒犯36万人，缴获大量各种毒品，成百部又上万套制毒机，及一批贩毒武装的枪、炮、发报机。至1952年底，终于清除了烟毒。广大群众赞道：“毒害百余年，只有共产党才能解决这个问题！”
娼妓的存在是城市中社会丑恶现象之一。罗瑞卿决心切除这个毒瘤。他先从北京做起。1949年11月12日，他在北京市公安局集体办公会议上说，妓院是藏污纳垢、压迫妇女、损害社会健康的地方。妓院老板是城市的封建势力。“为了彻底消灭城市封建势力，解放妇女，建立一个健康的新社会，我们对妓院必须坚决封闭取缔，并依法惩办那些罪大恶极或有血债的妓院老板。”会上起草了向市人代会呈送的议案。11月21日下午，北京市各界人民代表会议做出封闭妓院的决定，当天下午5时30分，市公安局立即出动干警和公安总队官兵2400人，在市民政局、市妇联配合下，一夜之间将全市224家妓院全部封闭。妓女被送往妇女生产教养院，教养院对她们进行教育、体检、治病，然后对有家可归者遣送回家，有对象者助其结婚，其余的组织学习生产技术，让她们能够独立谋生；对454名妓院老板、领家，则集中清查罪行。
继北京后，全国各大中城市均相继开展了行动。当时妓院最多的城市是上海。1951年3月，罗瑞卿到上海视察工作，微服察访仍在社会黑势力控制下的“大世界”。当他看到每层楼站满了由老鸨看管的妓女后，激愤地说：“这些老鸨吸血鬼、这些流氓恶霸，统统要消灭掉。我们要从这些坏蛋手里解放那些不幸的人。”1952年4月至9月，上海市公安局在民政等部门配合下，采取多次行动查封妓院、取缔娼妓，并将“大世界”改造成健康的人民乐园。
到1953年，除西藏外，千百年来吃人的娼妓制度在大陆上被埋葬，解救了成千上万沉沦苦海的妇女。人民群众说：“旧社会把人变成了鬼，新社会把鬼变成了人。”
1952年12月毛泽东复信：“可能空降特务的山区，设立武装便衣侦察据点，专门对付敌人空降特务，没有事生产和学习，有事报信捉特务。”
罗瑞卿上任之时，正值年轻的共和国百废待兴、秩序尚未建立之际。敌对势力企图将新中国扼杀在摇篮之中，不断谋划暗杀和各种破坏活动，恶性案件时有发生。1950年9月，美军在朝鲜仁川登陆后，他们以为第三次世界大战快打起来了，蒋介石“反攻大陆”时机已到，组织了形形色色的地下军，委任了各路司令和大批的主席、专员、县长，潜伏的敌人也企图里应外合，准备美军到达后“接收”政权。他们在各地制造谣言，破坏交通，抢劫财物，焚烧仓库，杀害干部。统计资料显示，这一年，竟有4万名干部和群众积极分子被反革命分子杀害。国家部长级以上的领导人和重要的民主人士也全被列入暗杀名单。
10月9日，在中央一次研究抗美援朝问题的会议上，面对这些敌情，毛泽东问罗瑞卿，准备怎么办。罗瑞卿道：“现在反革命分子活动十分猖獗，人民批评我们宽大无边，要求我们镇压反革命。”毛泽东点点头说：“我赞成你们的意见。现在美国已经把战火烧到了我们家门口。我们要把房子打扫干净，以便更好地对付帝国主义。”毛泽东让彭真、罗瑞卿等连夜起草在全国范围内开展镇压反革命的群众运动的指示。10月10日凌晨2时，指示草稿呈送毛泽东，毛泽东只字未改，当日下发执行。“双十指示”要求全面贯彻党的“镇压与宽大相结合”的政策，重点打击土匪、特务、恶霸、反动党团骨干和反动会道门头子等五方面分子，“首恶必办，胁从不问，抗拒从严，坦白从宽，立功者受奖”，粉碎他们的复辟阴谋。