祖逖少輕財好俠，慨然有澄清天下之志。曾為齊王冏大司馬掾，累官太子中舍人，東海王司馬越任為典兵參軍、濟(jì)陰太守，母喪不赴。永嘉五年(311)匈奴族劉曜率漢軍攻陷洛陽，晉懷帝被俘，中原大亂，祖逖率親鄰幾百家避難南下，甘苦與共，被推為流徙的首領(lǐng)——行主。至泗口(今江蘇清江北)，鎮(zhèn)東大將軍司馬睿任命他為徐州刺史，不久征為軍咨祭酒，移居京口(今江蘇鎮(zhèn)江)。上書司馬睿，力請北伐。

建興元年(313)，司馬睿以逖為奮威將軍、豫州刺史，只予一千人的糧食和三千匹布作為北伐物資，由其自募戰(zhàn)士，自造兵器。他帶著隨他南下的部曲百余家北渡長江，中流擊楫宣誓：“祖逖不能清中原而復(fù)濟(jì)者，有如大江！”至淮陰后，一面冶鑄兵器。一面招募流散，得兩千多人，進(jìn)屯雍丘(今河南杞縣)。當(dāng)時，河南塢主各擁部曲自重，相互攻擊，依違于石勒和晉朝之間，他派人招撫，共御石勒，進(jìn)克譙城(今安徽亳州)。蓬陂塢主陳川勢力較大，大掠豫州諸郡，被祖逖設(shè)伏擊潰，將所掠子女財物各歸原主，深得民心。陳川投石勒，祖逖率軍伐陳，勒遣石虎領(lǐng)兵五萬救援，祖逖數(shù)以奇兵擊退進(jìn)犯。石勒統(tǒng)治的鎮(zhèn)戍多歸附祖逖，北方晉室將領(lǐng)李矩、郭默、上官巳、趙固等也愿聽從指揮，九年即收復(fù)黃河以南的大部土地。祖逖軍紀(jì)嚴(yán)明;自奉儉約，不畜資產(chǎn)，勸督農(nóng)桑，發(fā)展生產(chǎn)，深得百姓愛戴。歷經(jīng)喪亂的中原父老說：“吾等老矣！更得父母，死將何恨！”黃河北岸塢壁群眾向祖逖密報石勒的活動，迫使不敢南犯。石勒遣書求互市，他雖不答，卻任憑通商貿(mào)易，收利十倍。

正當(dāng)他回鎮(zhèn)壽春，同時積極營繕虎牢關(guān)(今河南滎陽汜水鎮(zhèn))，秣馬厲兵，積蓄力量，準(zhǔn)備向北岸推進(jìn)時，東晉王朝內(nèi)部矛盾激化，王敦擅政，擁兵于武昌，而晉元帝司馬睿亦不甘為傀儡，積極任用刁協(xié)、戴淵等人，四方布置。

太興四年(321)，晉元帝司馬睿派遣戴淵為征西將軍、都督司、兗、豫、并、雍、冀六州諸軍事、司州刺史，以監(jiān)督祖逖。戴淵雖然才學(xué)出眾，頗有韜略，又忠于晉朝，但因是南方人，對北伐并不積極，手下也沒有什么精兵強(qiáng)將。他的職務(wù)，實際上是晉元帝為了防備大將軍王敦而作的布置。祖逖憂慮王敦和東晉政權(quán)對立，內(nèi)亂爆發(fā)，北伐難成，當(dāng)年，憂憤死于雍丘。他死后王敦以為已經(jīng)無敵，于是發(fā)動叛亂，于次年攻入石頭城。戴淵等援救失利，被執(zhí)遇害。

王敦被平定后，朝廷又派祖逖的弟弟侍中祖約接替他的職務(wù)。祖約為人貪好財貨，短于大略，雖有祖煥、戴洋等人輔佐，但依舊屢次失敗，加上敵后的李矩等人相繼失敗，祖逖收復(fù)的土地又逐步被石勒攻占。327年，祖約聯(lián)合蘇峻發(fā)動叛亂，失敗后投奔石勒，不久全族被害(只有一個十歲的小兒子，被祖逖從前的一個羯族部下救出)。

公元321年9月，祖逖含恨離開了人世，享年56歲。中原人民聽到祖逖逝世的消息，萬分悲痛，許多地方的民眾為他建了紀(jì)念祠堂。祖逖領(lǐng)導(dǎo)的北伐雖然沒有完全取得勝利，但打擊了胡人氣焰，使東晉王朝統(tǒng)治得以鞏固。他為國獻(xiàn)身的精神，長留青史，千百年來一直受到人們的敬仰和贊頌。