赫鲁晓夫被罢黜回家后有多痛苦？“天天都在哭！”
1964年10月，伴随着中国原子弹的爆炸，苏共机关报《真理报》头版刊登了一条震惊世界的公报——
苏共中央在10月14日举行全体会议，满足了赫鲁晓夫同志鉴于年迈和健康恶化解除其苏共中央第一书记、苏共中央主席团委员和苏联部长会议主席的职务的请求！苏共中央全会选举勃列日涅夫同志为苏共中央第一书记。
岂不知，赫鲁晓夫是被政敌以突然袭击手段，逼迫下台的！
最初那几个月，他确实过得浑浑噩噩。早上醒来，还会下意识地等秘书来汇报日程，随即才反应过来，什么都不会有了。妻子尼娜默默地把早餐推到他面前，他盯着盘子，半天才动一下叉子。
他开始在别墅的花园里长时间踱步。那片地以前只是装饰，现在他亲手摆弄起西红柿和黄瓜。手上沾了泥土，反而让他觉得踏实些。有时挖着挖着，他会突然停下来，望着克里姆林宫的方向发呆。泪水有时候还是会涌上来，但他很快会用袖子抹掉，继续埋头干活。
过去那些“老朋友”几乎不再登门。只有儿子谢尔盖和女儿拉达经常带着孩子来看他。小孙子们跑来跑去，给这栋沉寂的房子添了些生气。赫鲁晓夫会努力挤出笑容，陪他们玩一会儿，但小孩一离开，他的肩膀就又垮了下来。
他开始大量阅读，读以前没时间细看的书，也读报。看到报纸上那些对他过去政策的批评，他会把报纸摔在桌上，在屋里激动地走上几圈，嘴里咕哝着反驳的话。但最后总是慢慢坐下，叹一口气。他让儿子悄悄弄来一些未公开的资料，特别是关于三十年代的材料。那些泛黄的档案，他看得很慢，很仔细。
写作回忆录成了他主要的精神寄托。他口述，儿子秘密地用录音机记录。讲到激动处，他会站起来，挥舞着手臂，仿佛又站在了主席台上。但讲着讲着，声音会低下去，变得絮叨而琐碎。他尤其反复提及农业改革和住房建设，细数那些他自以为的功绩，也承认其中的错误和幼稚。
有一次，邻居一位退休的老工人隔着篱笆跟他打招呼，聊起现在商店里排长队买面包的情形。赫鲁晓夫听着，突然激动起来，说当年他在乌克兰搞农业怎样怎样。老工人只是憨厚地笑笑，说：“那都是过去的事啦，尼基塔·谢尔盖耶维奇。”这话像针一样刺了他一下。他沉默了，点点头，转身回了屋。
对布哈林和加米涅夫的事，他后悔的念头越来越清晰。不是公开的悔恨，而是在独处时，那种沉甸甸的、挥之不去的感觉。他私下对儿子说过：“有些事情，当时觉得必须那样做，为了大局……现在看，不对。”但他再没有机会去纠正了，这成了他心底一根拔不掉的刺。
日子一天天过去，他对外界越来越沉默。当记者或好奇的访客偶尔通过各种关系找来，问他怎么看现在的领袖，或者对某某事件有何评价时，他总是摆摆手，用那句已成习惯的话挡回去：“我已经退休了。”然后指指自己的菜园，或者手里的书，示意对方话题结束。
他的身体在衰老，激情在冷却，但脑子里那些风暴从未真正停息。只是，一切都归于屋内窗前的安静凝视，和花园里无止境的、沉默的劳作