1948年春，劉峙當(dāng)選為第一屆國民大會代表，3月參加國民代表大會，選舉蔣介石為總統(tǒng)。此時(shí)解放戰(zhàn)爭進(jìn)入戰(zhàn)略決戰(zhàn)階段，國民黨軍隊(duì)連受挫折，危局難支。劉峙眼見出山的機(jī)會難得，連連找機(jī)會向老長官何應(yīng)欽輸誠。果然，1948年5月，何應(yīng)欽擔(dān)任國防部長后，立即推薦劉峙為徐州“剿總”司令，掌管關(guān)內(nèi)絕大部分中央軍部隊(duì)，看護(hù)南京的大門。蔣介石也明白，劉峙雖然打了一些敗仗，終究忠信可靠。輔之以杜聿明等虎將，可收短長互補(bǔ)之效。劉峙久閑無事，被蔣介石再次起用，受寵若驚，當(dāng)面向蔣介石表示：“要我做官，不能奉命；要我拼命，義不容辭！”

表完了態(tài)，1948年6月14日，劉峙飛抵徐州就職。此事在國民黨軍隊(duì)內(nèi)部引起一場小小波瀾，第五軍軍長邱清泉素來驕橫，干脆直言道：“徐州是南京的大門，應(yīng)派一員虎將（指薛岳）把守。不派一虎，也應(yīng)派一狗（指顧祝同）看門。今派一只豬（指劉峙），眼看大門守不住?！币磺兴坪醣磺袂迦灾小＞驮趧⒅啪吐毜牡?天，河南開封被解放軍陳毅、粟裕部攻克。緊接陳毅、粟裕率領(lǐng)的解放軍又全殲趕來增援開封的區(qū)壽年兵團(tuán)5.4萬余人，生俘區(qū)壽年。9月下旬，濟(jì)南解放，山東綏靖公署主任王耀武被俘。劉峙、杜聿明一度還有收復(fù)濟(jì)南的計(jì)劃。但是10月15日，傳來錦州被圍的消息，蔣介石急令杜聿明飛往北平，急得劉峙六神無主，反復(fù)念叨：“光亭（杜聿明字）走了，這可如何是好？北進(jìn)誰能做主？真是料想不到的事！”劉峙坐臥不安，一連21天，徐州的部隊(duì)一直保持杜聿明走前的狀態(tài)。

11月6日，淮海戰(zhàn)役打響，劉峙在徐州緊張得坐立不安，連電告急。蔣介石被迫改變決心，決定在徐蚌地區(qū)與解放軍進(jìn)行戰(zhàn)略決戰(zhàn)。劉峙按照蔣介石的命令，急電李延年，命令第一百軍星夜開赴海州，以加強(qiáng)海州和連云港一線的防務(wù)。但2天后，劉峙又決定放棄海州，再電李延年兵團(tuán)向徐州靠攏，并命令第一百軍返回。在李延年兵團(tuán)開始撤退時(shí)，劉峙又命令正在撤退中的黃百韜兵團(tuán)及李彌兵團(tuán)一部，在運(yùn)河以東、隴海線以北掩護(hù)李延年。

一切都晚了。解放軍集中7個(gè)縱隊(duì)的絕對優(yōu)勢兵力，對黃百韜兵團(tuán)實(shí)施攻擊。11月22日，黃百韜兵團(tuán)全軍覆沒。蔣介石急令劉峙抵蚌埠坐鎮(zhèn)指揮，將徐州近郊各軍交給杜聿明指揮。北上增援的黃維兵團(tuán)在11月27日被解放軍全部包圍于雙堆集，黃維兵團(tuán)10多萬人悉數(shù)被殲，黃維被俘。1949年1月6日，解放軍分東、北、南三方面向杜聿明集團(tuán)發(fā)起總攻，很快攻破其防御體系，9日發(fā)動炮火攻擊，俘獲杜聿明，擊斃第二兵團(tuán)司令邱清泉，淮海戰(zhàn)役宣告結(jié)束。此役，劉峙指揮的國民黨軍隊(duì)被人民解放軍殲滅了5個(gè)兵團(tuán)、22個(gè)軍、56個(gè)師（內(nèi)有4個(gè)半師起義），總計(jì)55萬余人。

55萬人全軍覆沒，劉峙從蚌埠逃回南京，知道這一回自己禍闖得太大，嚇得不敢去見蔣介石。蔣介石恨透了劉峙，于1949年1月20日下令將其撤職查辦。第二天，蔣介石自己離開南京，下野引退。劉峙兵敗淮海，蔣介石的政權(quán)根基隨之崩潰，兩者關(guān)系之緊密由此可見一斑。劉峙這個(gè)位列“五虎上將”之首的“福將”，就這樣結(jié)束了自己的軍旅生涯。從此之后，劉峙再沒有帶兵打仗的機(jī)會。劉峙被撤職后，還是想盡辦法找機(jī)會東山再起。首先自然是要取得蔣介石的原諒。為此，劉峙不惜剃光臉上的胡子，然后托人捎信給蔣介石，說自己這是剃須明志，不消滅共軍發(fā)誓不再留胡子。但隱居奉化老家的蔣介石正在氣頭上，根本不理睬敗軍之將劉峙。

蔣介石下臺后，何應(yīng)欽重新得勢。蔣介石這是將何應(yīng)欽推到前臺，代自己主政。按蔣介石的旨意，接受李宗仁邀請，何應(yīng)欽出任行政院長。碰巧何應(yīng)欽在杭州做60歲大壽，劉峙明白蔣介石的路子走不通，能幫自己的只有老長官何應(yīng)欽了。他認(rèn)為此機(jī)可乘，趕忙備齊禮物，趕到杭州，向老長官何應(yīng)欽祝壽。果然，在何應(yīng)欽的庇護(hù)下，“查辦”沒了下文。風(fēng)頭過了，劉峙被委任為總統(tǒng)府戰(zhàn)略顧問。不過劉峙再也沒了兵權(quán)，有的只是一個(gè)虛職而已。

逃脫一場劫難的劉峙，明白國民黨大勢已去，開始為自己安排后路。他先帶著最受寵愛的三姨太黃佩芬，返回江西吉安老家，最后一次祭掃祖墳。從此，劉峙至死也未能返回故鄉(xiāng)。不久，解放軍發(fā)起渡江戰(zhàn)役，國民政府全面崩潰。劉峙一度前往廣州，希望能再度領(lǐng)兵，跟蔣介石“共赴國難”。但無論是下野的蔣介石還是“代總統(tǒng)”李宗仁，沒人瞧得上淮海一戰(zhàn)喪師55萬的劉峙。劉峙的多方努力還無結(jié)果，在廣州的唯一收獲是應(yīng)“保定系”老友顧祝同之約，重游黃埔軍校舊地。眼見當(dāng)年的黃埔軍校如今是一片荒蕪，景色破敗，劉峙不由流下眼淚。睹物傷人，他真是不知道自己的前途在何方。

1949年9月20日，劉峙滿心悲涼離開大陸，來到香港九龍。1949年12月7日，國民政府在大陸垮臺后，劉峙自思去臺灣不會有自己的好日子過，便以治糖尿病為名，向蔣介石告假留在香港。1950年3月1日，蔣介石在臺灣“復(fù)職視事”，重任“總統(tǒng)”。劉峙得知這一消息后，馬上聯(lián)合流落在香港的何成浚、陳武民等人致電祝賀。誰能料到，蔣介石沒看到電報(bào)還好，無非是暫時(shí)將劉峙遺忘。一見電報(bào)，蔣介石頓時(shí)想起還沒追究劉峙兵敗淮海的責(zé)任，當(dāng)即下令——因劉峙“滯港久不歸隊(duì)”，將劉峙的“總統(tǒng)府戰(zhàn)略顧問”職務(wù)撤銷。劉峙從此丟掉全部軍職，成了一介白丁，流落香港，無法再去臺灣。絕望之下，劉峙留在香港當(dāng)了寓公。好在這些年劉峙在大陸積攢了不少錢財(cái)，生活不用發(fā)愁。

沒想到，樹大招風(fēng)，一伙逃亡在香港受窮的昔日部屬們，認(rèn)為劉峙的錢財(cái)理應(yīng)有他們的一份。部屬們不顧情面，登門強(qiáng)拿硬取，與到劉峙家打劫無異。事后劉峙向香港皇家警察報(bào)警，說自己遭到了盜匪搶劫。但這種案子是沒法破的，劉峙白白損失一大筆錢財(cái)。經(jīng)此一事，劉峙心里暗暗拿下主意——香港這地方不安全，不能再呆下去了。香港不安全，臺灣不能去，劉峙要去何處落腳？恰逢此時(shí)，劉峙在一個(gè)偶然的應(yīng)酬場合，結(jié)識了印度尼西亞雅加達(dá)中華總會的丘元榮。丘元榮得知劉峙的三姨太黃佩芬是教師出身，熱心教育，馬上勸他們到印尼去。丘元榮告訴劉峙——印度尼西亞氣候適宜，華僑眾多，華僑教育有待開展，正適合劉峙與夫人去那里開辟新的人生天地。劉峙未及多想，接受了丘元榮的邀請，準(zhǔn)備到印尼去定居。

1950年9月24日，劉峙全家六口乘船離開香港，第一站先抵達(dá)新加坡。劉峙一家下船游覽新加坡的熱帶風(fēng)光，竟然不慎遇到一伙強(qiáng)盜，所帶行李大部被搶，損失慘重。劉峙一家不敢再停留，趕緊上船。船繼續(xù)南行，抵雅加達(dá)海口丹絨不祿碼頭時(shí)，丘元榮親來迎接。因?yàn)榕R時(shí)發(fā)現(xiàn)臺灣領(lǐng)事也在此登岸，他怕暴露劉峙一家的行蹤，不敢立刻露面，只能改派其他人上船，引導(dǎo)劉峙登岸。旅客入境，在雅加達(dá)要經(jīng)過三個(gè)關(guān)卡，劉峙一家雖然只帶了大小六件行李，與一般旅客同受檢查，但也費(fèi)了許多時(shí)間，損失了一些行李。好不容易通過碼頭的關(guān)卡，迎面又來了軍事檢查哨，公開索賄。劉峙為求生存，只好忍氣吞聲，任人宰割。更難堪的是，油水被榨后，劉峙突然又發(fā)現(xiàn)口袋里的錢包也不翼而飛。經(jīng)過如此幾番折騰，劉峙上百萬的家財(cái)已所剩無幾。

此時(shí)，劉峙面臨的第一大難題便是為全家大小六口人謀劃生計(jì)。本來，劉峙還想通過經(jīng)商，再來一次翻身。誰知，僅剩的一點(diǎn)家產(chǎn)投入后，不久即血本無歸，劉峙終于成了無產(chǎn)者。劉峙只好搬出雅加達(dá)，遷移到西爪哇島的茂物去住，因?yàn)槟抢锏南M(fèi)水平要低一些。又經(jīng)由印尼華僑幫助，劉峙和妻子黃佩芬獲得了教員許可書，這才完成了在印尼合法定居的手續(xù)，把他們原來只可以在印尼暫居三個(gè)月的時(shí)限，延長到兩年。不久，黃佩芬受聘到當(dāng)?shù)亍爸腥A學(xué)校”教書，當(dāng)上了小學(xué)老師。1952年1月，黃佩芬要回香港探親，好不容易弄到的小學(xué)教員職位舍不得丟掉，經(jīng)校長批準(zhǔn)，劉峙替她代授高小六年級的國文課和地理課。劉峙就這樣在南洋的異國他鄉(xiāng)開始了自己的教書匠生涯。

劉峙自幼讀過私塾，國文基礎(chǔ)很不錯(cuò)。他又是堂堂的保定軍校畢業(yè)，當(dāng)過黃埔軍校的戰(zhàn)術(shù)教官，對地理更不陌生。牛刀小試，劉峙講的課竟然大受學(xué)生歡迎，于是校方又要他增授高小五年級的尺牘課。不久，黃佩芬自香港回茂物時(shí)，學(xué)校已經(jīng)舍不得放劉峙走了，干脆對黃佩芬另排課程，著重在她的本行美術(shù)音樂方面。劉峙竟一直代課下去，先是教高小，繼而又增加到連初中也要教。國語、作文、尺牘、歷史、地理等等課程，劉峙全都教過。昔日統(tǒng)率數(shù)十萬大軍的堂堂上將總司令，如今淪落異域成為中小學(xué)生的“猢猻王”，這是劉峙從來也沒有想到過的結(jié)局。當(dāng)時(shí)印尼華僑小學(xué)使用的課本都是從中國大陸購買來的，“共產(chǎn)黨好，社會主義好”的政治傾向相當(dāng)鮮明。劉峙以大陸出版的課本作師傳道，授業(yè)解困，那番哭笑不得、五味俱全的感受，真是難以言表。為此，劉峙多次寫信與印尼教育部華僑司交涉，終于說服自己所在學(xué)校改用臺灣出版的小學(xué)課本。此事后來成為劉峙向臺灣國民黨當(dāng)局夸功的本錢，因?yàn)樽约旱摹皳?jù)理力爭”，才使得印尼的萬千華僑子弟“免受共匪的邪說與毒害”。

自從至茂物定居之后，化名執(zhí)教的劉峙一直隱瞞自己的真實(shí)身份，許多公開場合都盡量避免參加。偏偏事有湊巧，1952年3月的一天，劉峙偶然翻閱報(bào)紙，竟然發(fā)現(xiàn)有人以他的名義發(fā)表談話，刊登在當(dāng)?shù)匾患覉?bào)紙上。劉峙一打聽才知道，這個(gè)“假劉峙”是他當(dāng)年在保定學(xué)校學(xué)習(xí)時(shí)一位同學(xué)的堂弟。真劉峙在此，豈容假劉峙冒充。激憤之下，劉峙投書報(bào)社“辟謠”，表明自己的立場。劉峙的聲明在報(bào)上發(fā)表后，立刻引起了轟動。自淮海戰(zhàn)役結(jié)束后，人們鮮聞劉峙的名字，有人說他因打敗仗被蔣介石拘禁起來了，有人說他在大陸解放前夕投降共產(chǎn)黨了，還有人說他在香港當(dāng)寓公。只是誰也沒有想到，堂堂“國軍”上將，搖身一變竟成為一名小學(xué)教員。一時(shí)間，臺灣和南洋的傳媒競相報(bào)道。其間來龍去脈，更成了當(dāng)?shù)厝A人津津樂道的話題。

劉峙在印尼教書度日的三年里，不斷給蔣介石寫信，希望能獲得蔣介石的諒解。但是蔣介石根本不理睬他。直到這一次，失蹤多時(shí)的“福將”劉峙突然在印尼出現(xiàn)，以及有關(guān)“真假劉峙”等一系列頭號新聞的炒作，才引起了蔣介石的注意。當(dāng)時(shí)印度尼西亞已與中華人民共和國建立正式外交關(guān)系，兩國在許多國際問題上取得共識，外交往來密切。蔣介石有點(diǎn)害怕了——劉峙在自己這里屢屢失意碰壁，要再制造出令國民黨和他本人難堪的政治笑料怎么辦？更可怕的是，萬一劉峙給共產(chǎn)黨“統(tǒng)戰(zhàn)”回大陸怎么辦？于是，蔣介石示意劉峙的舊部袁守謙等人給劉峙寫信，要劉峙速來臺灣。劉峙接到袁守謙的信，大喜過望，馬上復(fù)信表示愿意去臺灣。就這樣，蔣介石于1953年8月正式示諭，接納劉峙與其家人入臺，還讓人給劉峙寄去了“入臺證”和旅費(fèi)。

1953年11月6日，劉峙帶家人離開雅加達(dá)，經(jīng)曼谷、香港抵達(dá)臺灣。在臺北機(jī)場，劉峙受到了原西南“剿總”總司令顧祝同、西北“剿總”總司令胡宗南、京滬杭警備總司令湯恩伯等人的迎接?？吹竭@些昔日老友，劉峙想起幾年前與顧祝同重游黃埔軍校的情景，又想起自己這幾年飄零海外，不由得又是落淚。劉峙到臺灣第一件事，自然是去面見蔣介石。見面之時(shí)，蔣介石不容他開口，劈頭蓋臉就是一通臭罵。好在劉峙了解蔣介石的秉性，知道罵過后就會風(fēng)平浪靜。況且，劉峙在大陸時(shí)就養(yǎng)成習(xí)慣，立正恭聽蔣介石責(zé)罵。不管蔣介石罵多久，不管罵什么，劉峙一律唯唯稱是，而且可以保持立正的姿式。這一次，年近七旬的蔣介石體力已不比當(dāng)年在大陸時(shí)，罵了一會兒便感到疲倦，只好住口，吩咐劉峙回去后好自反省。

劉峙從“總統(tǒng)府”退出來，反倒放下了心。跟隨蔣介石多年，他知道蔣介石的一舉一動都有什么含義。蔣介石對他這頓痛罵，是把過去種種舊賬一筆勾銷。果然，一個(gè)月后，劉峙受聘為“總統(tǒng)府國策顧問”。1954年2月，劉峙出席“第一屆國民大會”第二次會議，當(dāng)選為大會主席團(tuán)主席，10月還受聘為“行政院光復(fù)大陸設(shè)計(jì)研究委員會”委員。這些官職都是虛職，但劉峙曾經(jīng)海外漂泊教書度日，對這一結(jié)局已經(jīng)相當(dāng)滿意。1960年2月，劉峙出席“第一屆國民大會第三次會議”，仍當(dāng)選為大會主席，1966年“國民大會”也是一樣。1967年，劉峙兼任“行政院光復(fù)大陸設(shè)計(jì)研究委員會”臺中區(qū)主任，直到去世為止。1962年，在印尼落魄患難的妻子黃佩芬因病去世，這對年邁的劉峙是一個(gè)沉重的打擊。不過，劉峙身體狀況向來不錯(cuò)，多年來保持軍人的習(xí)慣，不吸煙，不飲酒，早晚堅(jiān)持運(yùn)動。1970年夏天，劉峙中風(fēng)，半身不遂，住院半年養(yǎng)病，終告不治。1971年1月15日，劉峙病逝于臺中，終年七十九歲。