民間流傳不少歷史人物的傳奇故事，許多是后世虛構(gòu)的。但就岳飛而論，在《說岳全傳》和一些戲文中，雖然虛構(gòu)事跡頗多，但對他的高風亮節(jié)其實反映得并不充分。

岳飛有一句流傳近千年的名言：“文臣不愛錢，武臣不惜死，天下太平矣。”在宋代社會，官場中充溢著崇文抑武的習氣，武將被指為粗人。武將能講出如此一針見血、言簡意賅的名言，已屬極為不易，更何況是身體力行。他擔任高官之后，收入自然頗高，卻一直維持著相當簡樸的生活。后妻李娃有一次穿絲織品，岳飛就一定要她更換為低檔的麻衣。他的私財收入是十分豐厚的，卻經(jīng)?；綖楣?，以私財補貼軍用。有一次，以宅庫中的物品變賣，造成弓二千張。他遇害后抄家，家中根本沒有金玉珠寶，貴重物只有三千余匹麻布和絲絹，五千余斛米麥，顯然還是準備貼補軍用的。

宋代的統(tǒng)治階層納妾是很平常的事。如抗金名將吳玠服用金石，酒色過度，咯血而死。韓世忠不僅納妾多人，還喜歡侮辱部將妻女，竟迫使猛將呼延通自殺。岳飛的前妻劉氏是在戰(zhàn)亂情況下，自動離家改嫁的。他與后妻李娃廝守一生。有一次，吳玠屬官出差到岳飛軍營，對于岳家軍中別無姬妾、歌童、舞女等勸酒作陪，頗感驚訝?；厝蟾鎱谦d后，吳玠特別為岳飛送來一個四川名姝，并置辦許多金玉珠寶做妝奩，然卻被岳飛打發(fā)回去。

岳飛根本不是戀棧的官迷，他幾次上奏，都表白了準備功成身退的心跡?！叭γ麎m與土”的名句，正是表達他賤視官爵的心態(tài)。南宋的百姓對此有廣泛崇高的評價，說他“手握天戈能決勝，心輕人爵只尋幽”。

岳飛有五個兒子，他死時僅三十九歲，卻已是抱兒弄孫的祖父了，長孫岳甫比幼子岳靄大一歲。因年齡關(guān)系，真正能隨他出入戰(zhàn)陣的就只有長子岳云，他對岳云的要求可說是超乎尋常嚴格，這應是與力圖矯正宋軍中的各種裙帶風式的腐敗有關(guān)。當岳云還是一名小軍士時，在訓練時不慎跌下馬來，就被岳飛嚴責一百軍棍。岳云年齡稍大，就成為一名十分驍勇的戰(zhàn)將。他的兵器不是像演義或戲曲中所說的，是一對鐵錘而是一對鐵錐槍，軍中稱他為“贏官人”，意為這個“官人”(官員的尊稱)總能打贏。但岳飛在一般情況下，只報將士們的戰(zhàn)功，卻對岳云的戰(zhàn)功扣押不報，并且多次拒絕上級或皇帝為岳云加官。岳飛平時不準兒子們近酒，在學習的間隙，還讓他們參加農(nóng)事，理由是“稼穡艱難，不可不知也”。

岳飛強調(diào)“正己然后可以正物，自治然后可以治人?！彼芎茏匀坏卣f到做到，是令人佩服的。