1949年10月1日，朱德在聂荣臻陪同下检阅部队。
军委作战部设到了香山
1949年3月23日上午11时，毛泽东带领中央机关进京。军委作战部人员分成两批，第一批由部长李涛带领跟随毛泽东进京，第二批则于3月26日出发。
3月25日，中共中央机关进驻香山静宜园，毛泽东住进半山坡香山寺边的双清别墅。军委作战部先遣人员进驻香山见心斋，和朱德总司令的住所挨得很近。周恩来和军委办公机关分开了，他一到北平就住进了中南海丰泽园，但他经常到香山来商议重大的事情。5月，毛泽东也进了北平城，住进了中南海。先一步入住的周恩来，把他住的丰泽园菊香书屋腾出来给毛泽东住了，他自己住进了中南海西北角的西花厅。
刚刚住进香山，作战部的参谋们就忙开了。
为了保障中央机关的安全，急需一张香山地图。当时解放军专业测绘人员很少，又大都在战争前线，绘制香山地图的任务就由参谋部作战部的参谋们来完成了。他们分头进行，最后由赵光琛绘制了全图。这份地图受到了军委首长们的称赞。
巫志远作为另一个小组的成员，在作战科副科长张一民带领下，用四五天的时间测量、绘制了“新北京”（在今复兴门、西直门以西8公里一带）的地图。当时曾经考虑过在这里设置军委办公机构，但后来放弃了这个计划。
军委作战部在香山工作了7个月。这时，解放战争的战斗规模和战场的广阔程度仍然达到空前程度。1949年春天，第三野战军58万人，第二野战军28万人，第四野战军90万人，先后渡过长江，追歼败退的国民党军队。第一野战军所属部队34万人，正在解放大西北。作战部所属作战局（李涛兼任局长）的参谋们不断地把各种情况，以及各路大军的作战方案、战况进展标示成图送呈首长。总之，军委作战部在香山期间仍处于战争状态中。
4月底，在香山举行了渡江战役汇报，由作战部参谋许之善在大幅地图前讲解，刘少奇、朱德、任弼时前来参加，军委各部首长都参加了。毛泽东和周恩来照例没有来，这是因为作为解放战争的总指挥和总参谋长，他们对渡江战役各阶段的情况都了如指掌。
总参谋部的建立
1949年9月21日至30日，在北平举行的中国人民政治协商会议第一届全体会议通过了《中国人民政治协商会议共同纲领》。它具有临时宪法的性质，是中央人民政府的施政纲领。它规定：“中华人民共和国建立统一的军队，即中国人民解放军和人民公安部队，受中央人民政府人民革命军事委员会统领。”毛泽东被任命为中央人民政府人民革命军事委员会主席，朱德为中国人民解放军总司令，彭德怀任副总司令。
以毛泽东为统帅的中央人民政府人民革命军事委员会于1949年10月19日在北京成立，朱德、刘少奇、周恩来、彭德怀、程潜任副主席，贺龙、刘伯承、陈毅、林彪、徐向前、叶剑英、聂荣臻、高岗、粟裕、张云逸、邓小平、李先念、饶漱石、邓子恢、习仲勋、罗瑞卿、 萨镇冰、张治中、傅作义、蔡廷锴、龙云、刘斐为委员。
中央军委的日常工作由周恩来主持。同日，徐向前被任命为人民解放军总参谋长，聂荣臻为副总参谋长。但徐向前因病在继续治疗休养，由聂荣臻代理总参谋长工作。同时，聂荣臻还被任命为华北军区司令员，徐向前为副司令员。
总参谋部一位老参谋回忆说，在总参谋长、华北军区司令员和这两个岗位的第一副职位置上，徐向前和聂荣臻的位置是互换的，为什么要这样？毛泽东在事后说，这样好，这就是矛盾的统一。
总参谋部是在央央军委领导下负责组织武装力量建设和实施作战指挥的最高军事领导机关。聂荣臻时年50岁。他后来曾回忆说：“1949年2月，我与叶剑英同志被任命为中央军委（对外称中国人民革命军事委员会）副总参谋长。当时军委总参谋长是由周恩来同志兼任的。1949年9月剑英同志到广东任职后，军委又任命我继任北平市市长兼军事管制委员会主任。这样，我就身兼六职了：副总参谋长、华北局第三书记、华北军区司令员、北平市市长、北平市军管会主任、平津卫戍区司令员。”“解放初期，我军的领导机关，是从战争年代延续下来的。总参谋部实际上还是毛泽东同志由陕北带来的那个小而精干的班子，人数很少，总共只有20来人，主要是作战部，由李涛同志负责。”
在这里，聂荣臻元帅所说的“20来人”，是指作战部中的作战科而言。
总参谋部一经成立，原“一局”立即升格为作战部。从这时起，总参谋部编制内出现了“部”的单位，其下是处级单位，分工日趋细密。
建国以后的解放军总参谋部，在聂荣臻的主持下开始走向正规化建设。
据聂荣臻回忆，在平津战役结束后，林彪曾向毛泽东提议由聂荣臻率领四野的部队打到江南去。聂荣臻马上说，打这种光荣仗、便宜的胜利仗我是不去打的。现在决战之后，大仗已经不会再有了，我看下江南还是应该由你林总带兵去。你觉得兵不够用，向我点兵要将我都给。由于是在毛泽东面前讨论问题，聂荣臻不知道毛泽东的意见，他还表示，如果主席决定我和林总一起下江南作战，我去，但是我当副手，还是由林总率军。
毛泽东决定，林彪打到南方去，聂荣臻留在北平。
聂荣臻于1949年7月正式到中南海办公。最初他的办公室设在春藕斋。一间大厅，中间用木板隔开为两大间，一头是作战室，另一头是聂荣臻的办公室。当年秋天，军委办公厅和总参作战部搬到了居仁堂。那里的一切相当简陋，以至于苏联顾问团团长看到办公室的摆设以后不由地问聂荣臻：“你们这个总司令部怎么这样呀？这也没有，那也没有。”意思是太简陋了。聂荣臻回答说：“现在我们还在打仗，部队很分散，物质条件仍然是很困难的，还没有来得及调整充实，只能因陋就简了。”
新的中央军委组成后，即着手组建和调整总部机关，任命各部门负责人。到1950年上半年，在原先解放军总部的基础上，军委办公厅和总参谋部是最早扩编的两大单位。总参谋部的正规化建设，这时驶上了持续发展的轨道。
1950年3月10日，聂荣臻就军事机关及军校建设问题等给毛泽东写报告：（一）继续加强海、空军司令部建设，筹建炮兵、装甲兵、工程兵司令部，并提出军兵种领导人选建议；（二）总参除加强作战、情报部外，组建通信部、军训部、军校部；（三）总后勤部与华北军区后勤工作分开，组建军需、军械、财务、运输、卫生部；（四）筹建总干部管理部；（五）加强航空、防空、测绘、机要学校、军医大学，筹建炮兵、工兵学校；（六）筹建陆军大学（军事学院），使之成为建设正规国防军的培训中心，深造军以上军事干部，请刘伯承主持。
这些建议很快得到了毛泽东等中央领导人的批准。
在此后的一年多时间里，解放军的各军兵种建设也发展起来，增加了炮兵、装甲兵、工程兵、防空部队、公安部队等新的军兵种。
总参谋部的老参谋邓汀回忆：这时，我们作战部已经大大扩编了，一个又一个新的部成立了。我们原作战部人员分成了两部分，作战部下成立了作战处，由李涛带领住进了中南海居仁堂，和中央军委办公厅在一处办公。当时军委办公厅主任是罗贵波。1950年1月，罗贵波受命为中共中央联络代表秘密前往越南，协助越南方面进行抗法战争。罗贵波走后，张经武担任了办公厅主任。
40多年过去后，聂荣臻的秘书刘振杰就此回忆：张经武接任军委办公厅主任时间也不长。毛泽东主席一个电话，派张经武出使西藏，担当和平解放西藏的大业。毛泽东打电话给张经武的时候，我们都在张经武的身边，听得清清楚楚。张经武放下电话，对我们说：“主席叫我去我就去。”他很快办了交接就走了。张经武走了以后，萧向荣担任了军委办公厅主任。
代总参谋长聂荣臻累坏了
在代总参谋长这个重要岗位上，聂荣臻付出了辛勤的劳动。他曾说，担任代总参谋长期间，“是我一生中最繁忙的时期”。
建国之初的总参谋部工作千头万绪。当时，战争还没有完全结束，向西南进军和大规模剿匪任务还很重，沿海一些重要的岛屿有待解放，还要进军西藏。军队一方面要向现代化、正规化迈进，要加强军兵种和军事院校的建设，另一方面又因为大规模的战争渐趋结束，军队要精减整编，成建制的部队要转入生产建设中去。更没有想到的是，朝鲜战争也随后而来。
面临繁重的工作，聂荣臻代总参谋长经常召集有关部门举行联席会议。联席会议主要有两种，一种是大范围的，各军兵种、总参谋部、总政治部、总后勤部负责人参加；另一种联席会议是小范围的，总参各部负责人出席。聂荣臻开会以后者居多。他和各部负责人几乎天天见面，经常通气，有问题就在会议上解决。他要求参加会议的人必须熟悉情况，而且能够负责，除后勤、军械部门的领导在开会时可以带一个搞计划的助手外，一般部门都由掌握情况的负责人参加。
每次通知各首长前来开会，用词被简略为10个字告诉总机：政（总政）、后（总后）、空（军）、海（军）、炮（兵）、装（甲兵）、工（程兵）、公（安军）、防（空军）、铁（道兵）。总机也不多问，即按10字分别通知10大单位。
身为代总参谋长，聂荣臻每天早晨8时迈进中南海居仁堂大门。他的办公室在居仁堂的东侧，中间是会议室，西边是作战室，墙壁上挂满了军用地图。聂荣臻一进门总是直奔作战室，首先听取值班参谋的报告。一般性的战报、电报、文件、电话记录当场处理。然后，他来到自己的办公室。办公室主任安东已经提前半小时将需要在当天处理的文电一一整理好，分门别类放在案头。
安东是老红军，文化水平较高，办事细致，聂荣臻有事总是一按电铃就叫他，并习惯地把要处理的问题写在小纸条上交给他，通常一个纸条记一个问题。聂荣臻非常欣赏安东的办事能力。1955年，安东被授予少将军衔。
作为代总参谋长，聂荣臻非常重视作战部的工作。他后来回忆：
总参工作的核心部门是作战部，他们昼夜值班。早晨我首先来到作战室，把前方的战事情况了解清楚，把各方面来的作战文电、各种情况在作战室看完。然后安东同志和办公室其他同志把当天要处理的事情向我一一报告。安东同志当时是总参谋部办公室主任，他头脑清楚，需要处理的问题都安排得有条不紊。接着，我就召开联席会议。有关问题该请示的请示，我们能定的就在会上定下来。工作虽然很紧张，但颇有条理。
还有就是毛泽东、周恩来同志那里经常叫我去汇报、谈话或开会。这些会议大多是晚上进行，而总参谋部的工作在白天，这样我休息的时间就很少了。每周总有几个夜晚不能睡觉，更没有什么星期天和节假日，这也是当时我特别疲劳的一个原因。
毛泽东同志历来对有关作战的事情和军队方面的重大问题非常重视，都是亲自过问，有关文电亲自批阅。他非常忙，常常是彻夜工作，凌晨或天亮以后才睡觉。白天他睡觉的时候，我一般不去找他，但在战争时期，一些很急的事情，或需要立即处理的作战方面的紧急电报，也只好去把他叫醒。
1951年初，聂荣臻因总参工作过于繁重，难以兼管北京市的工作，向中央提出辞去市长职务。1月31日，中央批准聂荣臻的请求。2月28日，北京市人民代表会议选举彭真接任北京市长。
代总参谋长聂荣臻始终精神饱满地进行工作。但到后来，聂荣臻累坏了。1952年9月的一天，聂荣臻随彭德怀到北京郊区视察国防工程，回到办公室后突然摔倒在地板上。经医生检查，是脑平衡神经失调，还有高血压和心脏方面的问题，需要治疗。好在这期间朝鲜战场上大规模的战役已经停止，中央批准聂荣臻暂时离职休养治疗，他在总参谋部的工作由粟裕接替。
1952年，代总参谋长聂荣臻（右三）和贺龙（右一）、邓小平（右二）、罗瑞卿（右四）等在第一届全军运动会上
聂荣臻的秘书话当年
建国之初，刘振杰是聂荣臻元帅的秘书之一，在总参谋部的工作给刘振杰留下了深刻的印象。他回忆：1950年2月，我在华北军区司令部当作训参谋，一纸调令飞来，上面盖着代总参谋长聂荣臻的大印，把我调到了总参谋部，担任聂荣臻的秘书。对聂荣臻代总参谋长我是熟悉的，当年在华北野战军司令部我们经常见面，我可以肯定他知道我。但是不是他调我到总参谋部去的，我从来没有问过，直到现在也不知道。
到了总参谋部，当了秘书，自然要熟悉代总参谋长的生活，对聂荣臻的生活规律也就很留心。
聂荣臻一般是清早7时以前起床，起床后是相当紧张的洗漱，早饭也很简单。到7时30分时，分管北京市事务的秘书来向他汇报北京市的工作。上午8时，他离家来到中南海居仁堂，开始了在总参谋部的办公。中午他回家吃饭，下午去上班，傍晚也回家吃饭。
吃过晚饭，聂荣臻继续办公。在许多情况下，晚上8时是分管华北军区事务的秘书向他汇报。晚上10时，他开始阅读当日文件，处理白天没有处理完的事情。大约在午夜12时上床休息。但是他经常睡不安稳，因为毛泽东常在晚上办公，经常在凌晨2时左右一个电话打过来，要他去谈工作。一遇到这样的情况，聂荣臻起身就走了。
长期以来，聂荣臻的生活习惯是早睡早起，但是在代总参谋长岗位上，他这个习惯打了大大的折扣。临睡前，只要条件允许，聂荣臻要洗一个热水澡，水温摄氏40度左右，在澡盆里泡上15分钟。有一个夏天的晚上，天气极热，聂荣臻刚刚坐进澡盆，电话铃就响了，是毛泽东叫他前去开会。聂荣臻二话没说，穿上衣服，直奔菊香书屋而去。
那时，在总参谋部这头，聂荣臻实际上有4个秘书，唐永健是军委办公厅副主任，是聂荣臻的主要秘书，从晋察冀时代就跟着他了，长期担任华北野战军作战处处长。另3个秘书是王甲义、刘振杰、柳鸣，都是年轻人。王甲义年龄最大，也不过25岁，另两个都是22岁。
唐永健是有本事的大秘书。在居仁堂，聂荣臻的办公室在里间，外间是唐永健办公室，再外边才是3个年轻秘书的办公室。聂荣臻一出门就是唐永健的屋子。聂荣臻和唐永健的工作很默契。聂荣臻每天下班的时候，提着一个皮包出门。他一出办公室，先是唐永健，接着是3个年轻秘书都站起来，看看代总参谋长有什么吩咐。聂荣臻出门后爱边走边用他的四川腔嘀咕，声音不大，年轻秘书离得远点听起来有些费劲，唐永健跟久了首长，听聂荣臻的四川话驾轻就熟。
从聂荣臻出他的办公室到走出门也就那么几步路，一边走一边说话，唐永健能听清楚领会意思。等聂荣臻走了，唐永健回到自己的屋子里提起毛笔就写，把刚才聂荣臻跟他说的话形成文字。待到第二天聂荣臻上班来一看，经常是签上自己的名字就发走了，或送周恩来，或送毛泽东办公室。唐永健这一手很令年轻的秘书们折服，说他是清华大学毕业生，就得有这水平！
年轻秘书的工作也不是那么简单的。聂荣臻言简意赅，对秘书谈什么或是下达命令就说一遍，说完了掉头就回自己的办公室，秘书们从来没有再追上去问个究竟的。有一回，聂荣臻从屋里出来，嘴唇一动，蹦出三个字。这四川口音听得刘振杰摸不着头脑。他一说完就走了，刘振杰心里可费琢磨了。他灵机一动，分析着聂荣臻说的是一个人的名字，再加上在一起对聂荣臻的了解，刘振杰判断，聂荣臻说的是“刘亚楼”，新任空军司令员，他是要刘亚楼来商量事情。刘振杰抓起电话就给刘亚楼挂了过去，说：“刘司令员，聂总要你来一趟。”
放下电话，刘振杰心里可就敲开鼓了，也不知道聂荣臻要的是不是刘亚楼？过了一会儿，刘亚楼来了，走进聂荣臻的屋子，两人交谈起来，一切平安无事。原来聂荣臻要的就是刘亚楼。刘振杰的心这才放回了原处。这是1950年的事。
后来聂荣臻办公室还是觉得人手紧张，就把安东调来担任总参谋部办公室主任。
聂荣臻的工作不可能不累。有几次，他晚上到周恩来处汇报，周恩来正和别人谈话，聂荣臻坐在外屋沙发上等候，一低头就睡着了。
刘振杰回忆说，聂荣臻是一个严肃的人。那时，陈毅曾对聂荣臻说：“你这个人呀，是严而肃之。”我们在总参谋部一起工作了3年，在办公室里我只听他笑过一回。那是1950年的一天，刘伯承从南京来到北京，就住在聂荣臻的家里。刘伯承进城时，聂荣臻已经到总参谋部上班了。刘伯承就打来一个电话，开玩笑说：“总参谋长，我到北京来了，向你报到。”聂荣臻说：“你来了？缴枪没有？我这个北京市长是不许带枪进北京的。”说完，聂荣臻自己就笑了。
刘振杰说，还有一回，聂荣臻跟我们开了个玩笑。那时，我们几个年轻秘书的工作也很辛苦，睡眠不足，白天工作容易犯困。军委办公厅副主任朱早观就去给我们买来一些咖啡。可我们从来没有喝咖啡的习惯，确实也觉得咖啡挺苦的，自称“土包子”，不喜欢喝，而且喝了照样打瞌睡。一天吃过午饭，我们3个年轻秘书在自己的办公桌上一趴都睡着了，聂荣臻在屋里按电铃我们也没有听见。他觉得奇怪，就跑了出来，一看是这么回事，就大声说：“噢！下雨了，下雨了！”这才把我们惊醒了。
在我们眼里，聂荣臻特别注意军容风纪，平日里把军装穿得整整齐齐。有一回，我们办公室闯进了一位年轻的通讯干部。外边已经很冷了，来人穿一身棉军装，有几个地方露了口子，胸脯上不知什么时候洒了一口肉汤，弄得油乎乎的。他进了屋嫌热，就把领口解开了。正好聂荣臻从屋里走出来，一眼就看见了这位通讯干部。他不高兴了，走到年轻人面前，指着他衣服上的油迹，瞪着眼说：“你是不是人民解放军？嗯？”那小伙子抬头一看是代总参谋长，吓坏了，也没有告辞，扭头就走了。
刘振杰回忆说，在林彪集团覆灭后的一天，聂荣臻对秘书说，你去把我在居仁堂时期的几个人找来，我想他们了。于是，唐永健、王甲义、柳鸣和我，来到了聂帅的家里。那天，聂荣臻兴致很高，和我们谈了很多，也谈得比较深。
总参谋部和抗美援朝、抗法援越战争
朝鲜战争的爆发使总参谋部的工作更加繁重。对那场战争，邓汀的回忆格外真切。他说：
在总参谋部，我主管过前方电报的接收工作。朝鲜战争形势的变化使我们的工作非常紧张，特别是李涛部长和雷英夫副部长，他们参与机密，经常向中央领导人报告和分析情况。
朝鲜战局牵动人心，每天下午战报就发到居仁堂，这时是我们工作最紧张的时候。我们作战参谋要根据电报，把变化了的作战局势标示在地图上，上报军委领导人。一份战报来了，一般来说要复制5份地图，分别送毛泽东、刘少奇、周恩来这3位最高领导，还有聂荣臻代总参谋长和作战部长李涛。
当时没有复印机，复制地图的方法是我们自己想出来的，就是做几个双层玻璃面的桌子，玻璃板底下是几个灯泡，战报来了就把战局变化标在预先准备好的地图上，然后往玻璃板下一压，打开灯泡，地图就变成半透明的了。再把另一张地图压在上面，手工绘制。复制出一张后，底图就成了两张，再上两个人，就复制成4张，如此成几何数字地上升，到满足需要为止。所以，每当我标好第一份地图，就赶紧叫唤：“快来，快来绘图！”在通常情况下，对朝鲜战况的地图我们大都绘成对开报纸大小。
朝鲜战争时，总参谋部工作非常紧张，紧张得出现过小“纰漏”。在朝鲜战场的第二次战役期间，有一天，总参作战部值班参谋是王炳堂、张松生两人。张松生本是一位华侨，早年从泰国回国来参加抗日战争，是一位出色的参谋人才。
那天在总部值夜班，到深夜后两位值班参谋突然觉得很困很困。这时有一个电报来了，讲前线情况。电报是朝鲜前线的志愿军司令员彭德怀拍发的，要求马上报告毛泽东，并要求画一个附图。可是，张松生太困了，手里接到电报，脑袋一沉就趴在桌子上睡着了。大概就睡了几分钟吧。幸好没有耽误大事。作战部领导事后批评了他的疏漏。这件事在总参作战部参谋中传为借鉴。
1950年春，总参谋部负责组建了中国赴越南军事顾问团。越南北部的各作战主力师，均配有中国军事顾问。
在总参，邓汀兼管赴越南的中国军事顾问团首长韦国清、梅嘉生发来的电报。
对比之下，越南战局就不那么紧张了。除了后来的奠边府战役外，战争规模都比不上朝鲜战争那么大，所以中国军事顾问团从越南来的战报也不像朝鲜战争那样天天都有。从那里来的地图也由邓汀来标，但尺寸小得多，只是一张战略草图，比杂志大不了多少。这份随战报送上的地图也复制5份，等到彭德怀从朝鲜回来以后就加了一份，直接送彭德怀办公室。
邓汀回忆说，在援越抗法战争中，有一次，大约凌晨1时许，刘少奇突然把正在值班的我叫了去，要我马上去总后勤部部长杨立三家，通知他给越南方面的一批物资必须尽快发送。我立即驱车而出，飞驰到杨立三家，要警卫叫起了正在熟睡的杨立三。杨立三听说是刘少奇派来的人，不知道是什么事，感到有些紧张，一身睡服就出来了，听我说明了情况。这情景，一直过了几十年还记得很清楚。
随着总参正规化建设的发展，到了1953年秋至1954年5月越南奠边府战役期间，总参的作战指导工作就相当具体和频繁了。这时，担负对奠边府战役指导工作的主要是彭德怀和粟裕。特别是粟裕，他于1952年底接替聂荣臻主持总参谋部全面工作，对于奠边府战役，从战役侦查到战役准备，再到战役的发起，直至发起最后总攻，都起了至关重要的作用。这些电报，通过总参作战部拍发给在奠边府战役前线的中国军事顾问团团长韦国清和副团长梅嘉生。
为了更好地掌握奠边府战况，总参作战部专门成立了一个小组，由张清华、雷英夫、邓汀、巫志远等组成，认真研究前线来电，提出作战建议。这时的总参谋部，还负责调配对奠边府战役前线的弹药和粮食供应，履行了战争时期的全面职责。
