曹錕當上總統(tǒng)并不能緩解內(nèi)部矛盾。直系的馮玉祥、胡景翼、孫岳等人暗中與已經(jīng)下臺的皖系段祺瑞、關(guān)外的奉系張作霖等人結(jié)成“反直同盟”。這個同盟結(jié)成以后，一心要推翻曹錕、吳佩孚等人。

1924年“第二次直奉戰(zhàn)爭”爆發(fā)，張作霖率領(lǐng)早已虎視眈眈的奉系十幾萬大軍兵分四路向關(guān)內(nèi)殺來。曹錕連忙請洛陽的吳佩孚到北京來指揮軍事。吳佩孚到北京的時候，曹錕率領(lǐng)馮玉祥、王承斌等直系大將到北京車站列隊迎接。吳佩孚也很快指揮直系兵分四路，抵擋奉系的進攻。說來也奇怪，各路軍閥掌握了中央政權(quán)以后，軍隊的戰(zhàn)斗力都不免下降。之前皖系掌握中央政權(quán)四年，還大借外債訓(xùn)練部隊，結(jié)果幾天時間就被錢糧都不如自己的直系部隊打得稀巴爛。這一次，直系部隊在北京養(yǎng)精蓄銳了四年，面對奉系的進攻也節(jié)節(jié)敗退。吳佩孚心中焦急，親自到山海關(guān)前線指揮作戰(zhàn)。卻不想他前腳剛走，馮玉祥就發(fā)動了兵變，率軍從前線以每日急行軍兩三百里的速度殺回了北京。留在北京的孫岳打開了北京城門，放馮玉祥入城。馮玉祥將曹錕軟禁，并強迫曹錕下令解除吳佩孚的全部職務(wù)，將自己軍隊改名為國民軍。吳佩孚在前線聞之，知道大勢已去。他還想率軍回北京救出曹錕，卻不想軍隊一觸即潰。在國民軍和奉系軍隊的夾擊下，直系大軍一敗涂地，多數(shù)被繳械投降，少數(shù)由吳佩孚帶領(lǐng)從海路南逃。自此，直系的四年統(tǒng)治被推翻，北京政府進入了奉系控制的第四個階段。

奉系首領(lǐng)張作霖是正兒八經(jīng)的土匪出身。在晚清亂世存在著一個說法，說一個人要想當官有一條捷徑，那就是殺人越貨當土匪，然后受招安。你殺的人越多、動靜鬧得越大，招安時得的官也就越大。全國各地就出現(xiàn)了許多像張作霖這樣土匪出身受招安的軍閥。當時說“北有雨帥，南有干帥”，這個“雨帥”指的就是張作霖，張作霖字雨亭；那個“干帥”指的則是廣西的陸榮廷，陸榮廷字干卿。兩人都出身綠林，據(jù)說一次在北京相聚，都想把對方比下去。天上有一只鳥飛過，陸拔槍便射，飛鳥應(yīng)聲落地。張作霖當時沒帶手槍，天上也沒有鳥了，他就脫衣扯褲說：“看誰帶花疤痕最多！”結(jié)果，張作霖身上有50余處疤痕，陸有80余處。張自嘆不如，遂稱陸榮廷為大哥。

在土匪橫行的清末和民初，東北土匪尤其多。為什么？清末，東北遭受了甲午戰(zhàn)爭和1904年日俄戰(zhàn)爭兩次大戰(zhàn)，兩次大戰(zhàn)使得清朝東北的地方政權(quán)幾乎陷于癱瘓，土匪四起。張作霖就是這眾多涌起的土匪當中的一股，他受招安以后向昔日的同行開刀，逐步壯大自己。民國成立后，張作霖所部被改編為北洋軍的一個師，從此張作霖獨霸東三省。