1961年這年的冬天，臺灣"戰(zhàn)略顧問委員會(huì)"在臺北介壽館四樓開會(huì)，請胡宗南參加。胡宗南來到介壽館，拾級而上，爬到二樓就氣喘吁吁體疲力乏，再也上不去了。胡臨時(shí)找了個(gè)人，請他到四樓幫忙請個(gè)假，自己打道回府了。胡性格好強(qiáng)，回來后沒有聲張，更沒有去醫(yī)院檢查一下，以為累了，休息一下就會(huì)好。誰知這是身體給他的嚴(yán)重警告。胡宗南失去了治療的時(shí)間與機(jī)會(huì)。

這年除夕之夜，胡宗南一家六口團(tuán)聚一堂。夫人葉霞翟近年不斷在報(bào)刊上發(fā)表文章，妙筆生花，著述頗豐，成為臺灣知名作家。孩子們也都聰明活潑，好學(xué)上進(jìn)，這使胡宗南十分欣慰。這是來臺后，胡宗南最為高興的一個(gè)除夕夜，也是他與夫人和孩子們度過的最后一個(gè)春節(jié)。過年幾天，家里人來客往，胡宗南也乘興前往多年沒有走動(dòng)的老朋友家里拜年問候。到了正月初三，胡宗南覺得身體堅(jiān)持不住了，便請大夫到家里診治。醫(yī)生發(fā)現(xiàn)胡心臟不太正常，急忙將他送進(jìn)了榮民總醫(yī)院。

胡宗南生病的消息驚動(dòng)了臺北黨政要人。胡住院的第二天，蔣經(jīng)國就來到病房，胡對這位比自己小15歲的浙江同鄉(xiāng)開玩笑說："我們浙東稱人死為翹辮子，我這次恐怕就會(huì)翹辮子了。"正月初七，蔣介石親臨醫(yī)院探視。蔣的到來，使得胡宗南感激涕零，過去一些不愉快的事情，也就煙消云散了。經(jīng)過一段時(shí)間的診治，胡宗南的病情已有好轉(zhuǎn)，醫(yī)生對胡宗南身體恢復(fù)表示樂觀，他對葉霞翟說："胡上將的身體正在恢復(fù)之中，過幾天就可以出院了。"

3月13日，胡宗南精神很好，晚上9時(shí)還吃了半個(gè)蘋果，與夫人聊了一會(huì)兒家常，然后入睡。凌晨3點(diǎn)多鐘，胡突然驚叫數(shù)聲，一手高舉，便昏迷過去。醫(yī)生急忙搶救，夫人葉霞翟聞?dòng)嵓甭首优畯募抑汹s來。此時(shí)胡已不能言語，進(jìn)入彌留狀態(tài)。5點(diǎn)30分，胡宗南的心臟停止跳動(dòng)，終年67歲。