1977年，黄克诚复出工作，他从山西回到北京，担任军委顾问。1978年党的十一届三中全会召开之前，中央在研究一批老同志的工作安排时，有人考虑到黄克诚的身体状况，曾建议他到全国人大或全国政协担任领导职务。但中央更看重黄克诚清正廉洁、铁面无私、无限忠诚的可贵政治品格，认为他到中纪委任职比较适宜。
黄克诚的清廉和正直在全军内外一直很有名。1940年，抗战进入了最艰苦的时期，时任新四军第三师师长兼政委的黄克诚带领官兵厉行节俭之风，靠发扬勇敢战斗的作风和艰苦奋斗的传统来支撑苏北抗日大局。1941年5月，新四军政委刘少奇在一次总结讲话时说：“新四军全军7个师，第三师人最多，花钱却最少，应该学习他们的经验。”
黄克诚
为何第三师人最多，却花钱最少？这与黄克诚艰苦朴素的作风关系很大。1943年初，第三师供给部在赶制夏季服装时，出现了棉布不足的问题。黄克诚提议改革制服样式，第三师军服上衣去掉翻领和两只口袋，裤子由宽大的中式裤腰改为西式小裤腰，军帽减掉翻沿，官兵不发绑腿布，这样积少成多，整个第三师部队一下节约了很多服装面料。当时群众分辨是不是第三师的官兵，从服装上一眼便能认出。
1948年5月，黄克诚担任冀察热辽分局书记兼军区政治委员。当时分局机关设有一个单独的小食堂，分局秘书长看到黄克诚等一些领导干部营养不良，就吩咐管理员弄了些大米、鸡蛋给他们吃。但黄克诚在吃饭时看到桌上的米饭和鸡蛋后，生气地对秘书长说：“农民现在没饭吃，你却叫我们吃白米饭、炒鸡蛋，这是共产党员干的事吗？”
最后黄克诚指示：“取消小灶，干部一律到大灶就餐。分局个别有肠胃病的领导干部可适当照顾，可吃点细粮，后方的干部要多吃粗粮，把节省下来的细粮送到前线，让前线的战士们和伤病员吃得好一些，多打胜仗。”
黄克诚讲话
1978年12月，黄克诚在中共十一届三中全会上被选为中央纪律检查委员会常委书记。上任之初，他请示中纪委第一书记陈云：“纪律检查委员会主要抓什么？”
陈云明确回答：“抓党风。”
黄克诚深表赞同，1979年1月，他在中纪委第一次全委会讲话时说：“我赞成陈云同志的意见，纪律检查委员会要抓党风，要整顿党风，从思想上、组织上、作风上转变党风。党风搞好了，党就有希望。”
黄克诚不仅是这么说的，更是首先作出了表率。1979年，中纪委决定制定《关于高级干部生活待遇的若干规定》，《规定》明确：一个高级干部的宿舍只能有一处，不得同时占用两处。调到外地工作时，应将原宿舍交回。
《规定》颁布以后，黄克诚就要求妻子唐棣华交出自己的宿舍，他对妻子说：“中央纪委规定，各级领导干部只能享受一套由公家提供的住房。有了规定，我们就要带头按规定办。现在公家给我们安排了住房，你们单位以前分给你的宿舍就要归还。”
唐棣华的单位此前曾给她分了一套单元房，她已经在这里住了几十年了，现在要交出这套房，从感情上讲确实有些割舍不下。但当黄克诚开口后，她二话没说，就主动交出了宿舍。
黄克诚和唐棣华
唐棣华的举动也深深地打动了黄克诚。他饱含深情地对妻子说：“谢谢你多年来对我的理解和支持！享福没多少，吃苦受难全轮上，谁叫你是我黄克诚的妻子？从严治党，咱们就应该带好头，要从黄家开始，这样才能把从严治党真正落到实处。”
尽管上级给黄克诚分配了住房，但这座房子既漏雨透风，又靠近闹市，管理部门几次动员黄克诚搬迁或翻修，但他就是不答应，他说：“我们国家还很穷，群众住房更困难，许多家庭几代人同堂住一间房子。我现在的住房条件比起他们来，不知要好上多少倍，不搬迁、不翻修照样可以住，还是把搬迁、翻修的钱省下来，用在当用之处吧！”
后勤管理部得知黄克诚不愿换房住，又不同意彻底整修，便准备将临街的墙和门楼加高一些。黄克诚听说要花一两万元，又拒绝了：“ 修那个东西干什么？现在这个铁门虽然旧点，可是蛮结实嘛！门就是用来出出进进的，要装那么好那么高干吗？像这种装门面的东西，咱们宁可将就点，也不要乱花钱！”
后来管理部为了让黄克诚洗澡用水方便，决定给他家接通热力管道。他们办好了预算拨款手续，画好了线路图，准备开始施工。但黄克诚听说接热力管道需要花费3万元时，坚决不同意施工，他说：“3万元？你们怎么能因为我这么大手大脚地花钱？现在我们国家还很穷，把钱用到更紧要的地方去！我这里能烧煤取暖已经不错了，赶快停工！”
就这样，直到黄克诚去世，他家里的热力管道也没有接上。
1980年，黄克诚接连过问和处理了几件高级干部违规违纪案件，其中一件是杨勇用公款请客吃饭事件。这年1月，主持总参工作的副总参谋长杨勇，为了欢送调离总参的李达、张才千，同时欢迎调来总参工作的张震，在京西宾馆请他们吃饭，这顿饭共花去接待费400元。
黄克诚得知此事后，不禁大怒，他毫不留情地说：“要查，涉及天王老子也要查，不仅要查，而且一定要处理，谁出的主意由谁掏钱！”
秘书提醒黄克诚说：“现在公款吃喝的现象比较普遍，类似的事情较为常见，再说杨勇、张震都是你的老部下啊！”
黄克诚坚持说：“一定要查！是我的老部下就更要查！不仅要查，还要处理。谁出主意谁掏钱！其它公款吃喝的，发现一个也要查处一个！”
杨勇听说黄克诚要严查此事，认为他是在小题大做，心里颇为不快。于是黄克诚直接把电话打到了杨勇那里：“杨勇，你官当大了，老虎屁股摸不得了？”
杨勇
杨勇接到老领导的电话，才意识到事情的严重性，他马上说：“公款吃饭的事我错了，我做检讨。你也不用查了，我出的主意我付钱。”
黄克诚语重心长地说：“杨勇啊，请几位老战友、老同事吃顿饭，说起来事情不算大，但中央有规定，发了文件，领导就要带头执行。这不是400元钱的小事，是党的高级干部工作、生活作风的大事！高级干部不带头执行，刚制定的《规定》不就成了放空炮？党风何时才能好转？”
后来杨勇从自己的工资中拿出400元补上了饭钱，并做了检讨，此事才算了结。原副总参谋长何其宗在回忆此事时曾说：“我刚调到总参工作就碰到这件事，给我的印象深，教育也深。此后，我在总参工作从未用公款请过客。”
另一件事是“渤海二号”钻探船事故。1980年初，“渤海二号”钻探船由于工作人员违章操作，造成钻探船翻沉，最终酿成72人死亡的特大事故。事故发生以后，石油部一直没有向上级报告，直到8个月以后，死者家属们把状告到了中纪委，事情才得以曝光。
黄克诚再次大怒：“这件事一定要管！这是事关人民群众生命财产安全的大问题，党委干什么去了？为什么拖着不报？一定要查！”
黄克诚（右一）
中纪委查明情况以后，很快对相关人员给予了处分。分管石油工业的国务院副总理康世恩对这起事件负有领导责任，要不要给处分呢？政治局几次开会研究，黄克诚始终坚持要给予处分，他认为虽然康世恩对我国的石油事业作出过突出贡献，但功是功，过是过，如果不处分，无法向全国人民交代。
最终政治局经过表决，给予康世恩记大过处分。此决定公布后，在社会上引起了巨大反响。
黄克诚复出时，已经年近八旬，尽管年迈多病，但仍然发奋工作，由于劳累过度，他的身体日渐虚弱。老部下和熟人都劝他到南方去休养一个时期，但他却说：“我一出去，就要带一帮人陪护，那要花公家多少钱！还要给地方添很大麻烦，去不得！如果不是因为工作需要，去就是浪费。即使浪费掉一分钱，也愧对老百姓！”
陈云得知此事以后，指示中办就近安排黄克诚到玉泉山休养一段时间，他劝黄克诚说：“玉泉山环境安静，既有利于康复，又可兼顾工作。”黄克诚这才勉强答应。
但休养之前，黄克诚还是“约法三章”：
一、只带一个秘书，不带家属和其他随员；
二、家属除星期日以外，不要去看望；
三、一切生活费用自理，不要公家补助。
黄克诚全家福
有一个星期天，儿女们来看望黄克诚。小孙子黄健不小心打碎了一只茶杯，这本来是一件常见的小事，黄克诚却很重视，他提出要马上买一个新的来赔偿。工作人员说：“这里东西坏了，再去领一个就是了，用不着自己买。”
黄克诚却严肃地说：“你是一个军人，‘三大纪律八项注意’难道忘了吗？损坏东西要赔偿，这是我们军队历来的规矩，什么时候也不能违背。我是个老兵，不能因为今天我当了高级干部，就不守规矩、搞特殊！”
儿孙们和工作人员听了这番训诫，无不深受感动，他们马上买了个新杯子补上。
1986年，黄克诚的病情不断加重，不得不住院治疗。他自知大限将至，开始拒绝治疗和用药。他说：“我已经不能为党工作了，不必为我浪费国家的钱财。”他还多次以马克思的女儿、女婿拉法格夫妇在晚年为不增加党的负担而自己结束生命为例，要求医生不要对他进行抢救。
黄克诚晚年
面对这种情况，医生们只好让几个身强力壮的战士按住黄克诚的手臂，强行给他注射输液，可黄克诚一旦清醒后，又把呼吸的管子和针头拔掉了。唐棣华理解黄克诚，面对医护人员的劝说，她告诉他们，黄老就是这样的人，还是随他的愿望好……
1986年12月28日，黄克诚因病医治无效，在北京逝世，享年84岁。黄克诚去世后，唐棣华悲痛不已，她在病榻上为丈夫写下了一副挽联：
为人复何求，少逢国危，坚信马列，青年从戎，毕生尽瘁，幸得中华民族光荣屹立！
既死无憾矣，仰不愧天，俯不怍人，国运日兴，人才辈出，惜不随全党同志再尽绵薄。
这就是黄克诚，一个克己奉公、求真务实的人，一个胸怀博大、“仰不愧天，俯不怍人”的人！
