子领兵平叛很不利，就让建成侯吕泽去找吕后，吕后按四老之意哭诉一番，终于使刘邦决定带病亲自出征。

汉十二年（公元前195年），刘邦从前线平叛归来以后，身体每况愈下，更换太子的想法更加强烈。太子太傅叔孙通以死相谏：“从前晋献公因骊姬之故，想废太子，结果致使晋国数十年大乱，为天下人耻笑。秦朝就因为不早定扶苏，使赵高得以诈立胡亥，导致国亡，陛下已经亲眼所见了。当今太子仁义礼孝，人所共知。陛下与皇后同甘共苦几十年，怎么可以背弃！陛下一定要废太子，立赵王，臣定先死。”其他大臣也纷纷劝谏，刘邦口头上只好答应不再更换太子，但内心还想更换。

一次，刘邦大宴群臣，四老站在侍立刘邦身边的太子身后。四老都已是耄耋之年，银须白发，衣着也与常人不同。刘邦从未见过这四人，感到奇怪，就问他们是什么人，四老一一向刘邦作自我介绍。他们正是刘邦寻找多年的高人。刘邦问他们为何要跟随太子，四老解释道：“陛下轻视读书人，我等讲求骨气，不愿受侮，所以躲进深山。太子对读书人恭敬有礼，为人仁义孝明，我等当然跟随太子，侍奉左右。”刘邦这才知道太子早已羽翼丰满，无法再更换了。