據(jù)《明史》記載，朱元璋對(duì)手握大權(quán)的丞相李善長(zhǎng)心懷不滿，有意收拾他，因?yàn)槔钌崎L(zhǎng)與劉伯溫關(guān)系不睦，便想讓劉伯溫出面來(lái)懲治李善長(zhǎng)，劉伯溫此時(shí)并沒(méi)有因?yàn)榕f惡而對(duì)李善長(zhǎng)落井下石，反而向朱元璋進(jìn)言，稱李善長(zhǎng)是開(kāi)國(guó)元?jiǎng)祝诔邪l(fā)揮著重要的作用，懲治李善長(zhǎng)對(duì)朝廷不利。

劉伯溫此舉表面上是為李善長(zhǎng)開(kāi)脫，實(shí)際上他是不愿看到殘害功臣的局面出現(xiàn)，深知唇亡齒寒道理的劉伯溫，自然不愿幫助朱元璋開(kāi)重懲元?jiǎng)字爻嫉南群?。這以后，深知伴君如伴虎的劉伯溫心灰意冷，第二年便找了個(gè)理由告老還鄉(xiāng)去了。

歸隱后的劉伯溫深居簡(jiǎn)出，每天以飲酒下棋為樂(lè)，口不言功，盡量避免與官府中人交往?！睹魇贰分杏涊d了這樣一件事，青田縣令想拜訪劉伯溫，劉伯溫都婉言謝絕。無(wú)奈之下，青田縣令扮成百姓去見(jiàn)劉伯溫，正在洗腳的劉伯溫讓兒子把縣令帶到屋內(nèi)，還讓人做飯招待。

當(dāng)縣令對(duì)劉伯溫說(shuō)：“我是青田知縣?！眲⒉疁丶泵ζ鹕碜苑Q小民拜見(jiàn)縣令，然后便離開(kāi)房間，不再見(jiàn)縣令。盡管劉伯溫已經(jīng)刻意保持低調(diào)，但多疑的朱元璋并不放心，他將劉伯溫的兒子留在京城當(dāng)官，表面上是重用功臣后代，其實(shí)卻是將劉伯溫的兒子作為人質(zhì)。

然而，小心謹(jǐn)慎的劉伯溫最終還是沒(méi)有能夠逃脫政治斗爭(zhēng)的漩渦。早在建國(guó)之初，朱元璋曾就丞相人選詢問(wèn)過(guò)劉伯溫的意見(jiàn)，劉伯溫認(rèn)為胡惟庸并不適合這一職位，胡惟庸獲悉此事后便對(duì)劉伯溫懷恨在心，后來(lái)終于當(dāng)上丞相后，便時(shí)刻尋找報(bào)復(fù)的機(jī)會(huì)。

當(dāng)時(shí)甌、閩間有個(gè)叫談洋的地區(qū)，是鹽販、盜賊聚集的地方，劉基委托兒子劉璉上奏，建議應(yīng)在該地區(qū)設(shè)立巡檢司以加強(qiáng)管理。胡惟庸得知后便讓刑部尚書(shū)吳云彈刻劉伯溫，稱談洋踞山臨海，有君王之氣，劉伯溫是想要在這里建自己的墓地，當(dāng)?shù)匕傩詹淮饝?yīng)，便想要在那里設(shè)置巡檢司為難當(dāng)?shù)孛癖?。多疑的朱元璋下令剝奪了劉伯溫的官祿。