毛泽东探视后没再被迫害 
　　1961年6月17日，胡乔木给毛泽东写了一封信，要求长期病休。
　　“父亲的患病和他的特殊工作状态有关。毛主席喜欢晚上工作，有些事想起来了，就一个电话把父亲召去。特别是后来，父亲神经衰弱，睡眠要靠安眠药，有时刚吃下安眠药，主席电话来了，又得把父亲弄醒。到主席那里常常是一谈两三个小时，谈完回来，却再也无法入睡了。”
　　胡乔木从而离开了党内的理论核心，因而也就未参与“文革”前的一系列重大政策文件的起草和制定等工作。胡乔木幸运地没有卷入“毛泽东晚年‘左’的错误”中去，“文革”后可以“旁观者清”的身份为毛泽东下结论。 
　　“1966年6月父亲从杭州回来，匆匆忙忙的跟主席见了最后一面，主席让他到北京后‘多看、少说’。”毛泽东知道，胡乔木是“一介书生”，一旦说出不合时宜的话，结果定然惹火烧身。
　　然而，病休的胡乔木在“文革”初期还是受到了冲击。
　　1967年1月17日上午10时多，北京邮电学院的红卫兵们来到胡宅，把胡乔木押上一辆敞篷大卡车，在凛冽的寒风中，在高音喇叭不断呼喊“打倒胡乔木”口号声中，来了一次“街批”。?
　　第二天，中国科学院“红旗总部”派人前往北京八宝山，砸了胡乔木父母的坟，甚至把他父母的头颅从墓中取走！
　　之后就是持续的揪斗、抄家。持续的肉体和精神折磨，到1967年的“五一”才峰回路转。这一天，毛泽东突然提出要去看望胡乔木。
　　据说，毛泽东见到胡宅墙上贴着北京邮电学院红卫兵所贴“打倒胡乔木”的大字标语，知道胡乔木住此。“五一看烟火，主席路过南长街来我家，之前汪东兴先来看路线、周围环境。那天晚上全家很兴奋地等着主席来，结果中共中央办公厅副主任、中央警卫团副团长张耀祠陪着主席，到一个常年不开的门前面按铃，最终就错过了。”
　　胡宅有两扇大门：朝东的大门，是原先大使馆用的。自从胡乔木搬进去之后，东大门一直紧闭着，从未启用。胡家平时进出，走胡同朝北的大门。
　　张耀祠敲了一阵子，四周许多人跑过来，围观毛主席。张耀祠见无人开门，加上围观者迅速增加，毛泽东只得吩咐开车。
　　“总理抓住这个机会，让中办下了个文，说以后不准揪斗胡乔木了，有问题在家里提问。要没有这一下子，父亲可能就不行了，他本来身体就不好”。
　　《中国经济周刊》：有人说你父亲给江青写过效忠信？
　　胡木英：他跟主席这么多年，对主席有很深的感情。主席去世后，他想最后与主席告别，四人帮不让去。他就给江青写信，但江青还是拒绝了。文革后，这又成了他的罪状，被人抓住，说“你给江青写效忠信”，反对起用他。