太康十年（289年），家住陽平縣的祖逖被縣令提拔為孝廉，又被司隸提拔為秀才，但他沒有應命。後來，祖逖和劉琨壹起做了司州刺史。兩人關系十分融洽，經常討論天下大事，有時深夜睡不著，就在被窩裏坐起來，互相勉勵說："天下大亂，豪傑並起，妳我在中原應該有所作為啊！" 元康元年（291年），八王之亂爆發。祖逖得到諸王的重視，先後任職於齊王司馬冏、長沙王司馬乂、豫章王司馬熾，先後任大掾、輕騎將軍府、主簿、太子中舍人、豫章王府，從事中郎。
永興元年（304年），東海王司馬越擁立晉惠帝討伐成都王司馬穎。祖逖隨軍出征，在黨尹大敗，逃回洛陽。晉惠帝被劫持到長安後，範陽王司馬虓、高密王司馬繚、平昌王馬默等人都想拉攏祖逖，但都被祖逖拒絕了。後來，司馬越任命祖逖為軍師、濟陰太守。但祖逖因母喪，不肯出山。 永嘉五年（311 年），洛陽陷落，祖逖率領數百名親戚和鄉親南下，躲避淮泗之亂。他徒步前行，把自己的車馬讓給老弱病殘，把食物、衣服和藥品分給其他人。在逃難途中，他遇到了許多盜賊和障礙，但祖逖都能從容應對，被同行的人稱為 "行師"。到了司寇（今江蘇徐州）後，祖逖被瑯琊王司馬睿任命為徐州刺史，不久又被征為軍師，屯兵京口（今江蘇鎮江）。
建興元年（313年），晉湣帝即位，任命司馬睿為尚書左丞、陜東節度使，命他率軍前往洛陽勤王。當時，司馬睿正在江南開拓，無意北上。祖逖說："晉國之亂，不是皇帝無道，百姓造反，而是諸侯爭權奪利，自相殘殺，給了夷狄可乘之機。如今北方百姓飽受蹂躪，人人都有奮起反抗的意願。若能號令將士出征，讓祖逖等人領軍，江北豪傑必然會響應風潮，淪陷的百姓也會歡欣鼓舞。如此，或許國恥可以壹雪。"司馬睿雖然不想北伐，但也不便公然反對，於是任命祖逖為奮威將軍、豫州刺史，但只撥給壹千人糧餉和三千匹布帛，讓他自己招兵買馬，打造兵器。 司馬睿的消極態度並沒有動搖祖逖北上的決心。祖逖率領跟隨他南下的百余名族人，從京口渡河北上，在河中央，他用力拍打船槳，發誓要清掃中原。渡江後，他留在淮陰，煉爐冶鐵，鑄造兵器，招募了兩千多名士兵。
當時，兗豫地區有張平、樊婭等豪強，占據譙城，擁兵數千，但只是名義上歸順司馬睿，接受司馬睿授予的官職。張平麾下還有董贊、於武、謝扶等十余支小部隊，每支部隊有數百人。建武元年（317 年），祖逖駐紮在廬州（今安徽亳縣），派參軍尹乂與張範等人聯絡。然而，尹乂卻輕視張平，認為他保不住自己的腦袋。張平怒殺殷乂，守城抵抗北伐軍。祖逖攻城不克，便用計引張平部將謝馥。謝福趁與張平商議軍務之機，殺了張平，率部投降。祖逖進入太丘後，由於糧草不濟，軍中陷入困境。
張平死後，樊雅仍占據喬城。樊雅率兵夜襲祖逖大營，軍中大亂。祖逖沈著指揮，董昭英勇殺敵，終於擊退了樊雅。祖逖率兵追擊，卻遭到張平殘部的阻擊，於是他向彭武塞主陳川和南將軍王罕求援。陳川和王含派部將李頭和桓玄助戰。祖逖讓桓玄去勸降樊雅。桓玄騎馬進入喬城，對樊雅說："祖逖準備平定劉聰、石勒，需要依靠妳做後盾。昔日是殷乂無禮，並非祖逖之意。如果現在和解，既可建立忠義，又可保全富貴。但如果妳還想頑抗，朝廷就會派出猛將，以妳手下這群破落戶，立足危城，北有強盜窺伺，什麽事也做不成。"樊雅於是出城投降。
祖逖攻下喬城後，終於在豫州站穩了腳跟，為北伐開辟了道路。桓玄隨即率軍返回。不久，石虎圍攻喬城，王含派桓玄前去救援。石虎聽說桓玄來了，便撤兵退走。桓玄遂留守喬城，協助祖逖征討拒降者。太興元年（318 年），司馬睿在建康稱帝，建立東晉，是為晉元帝。李兌征討樊雅時，戰功赫赫，受到祖逖的器重。他常感嘆："若能得祖逖為師，雖死無恨。"陳傳大怒，於是殺了李兌，李兌的好友馮奉率領四百多人投奔祖逖。陳川更加惱怒，派部將韋恢掠奪豫州各郡，結果被祖逖的軍隊打敗。陳川非常害怕，於是率軍投奔後趙石勒。
太興二年（319年），祖逖攻打彭關（今河南開封），討伐陳傳。石虎率兵五萬救陳川，與祖逖戰於浚儀。祖逖戰敗，退守梁國，不久又退守淮南。石虎攻破豫州，把陳川帶回襄國，留大將陶豹鎮守彭陂。
太興三年（320年），祖逖派韓謙鎮守東臺，陶豹退守西臺。兩軍對峙四十余日後，祖逖設計讓趙軍以為晉軍糧草充足，兵力充足，從而打擊趙軍的士氣。他還在汴水設伏，奪取了石勒運給陶豹的所有糧食，迫使陶豹退守東燕城。祖逖命韓謙取封丘以壓陶豹，自己則進駐雍丘（今河南杞縣）。
陶豹被擊退後，祖逖又多次派兵截擊趙軍，使石勒在河南的勢力迅速萎縮。河南有趙奴、上官汜、李諸葛、郭默等集團，各據壹方，經常交戰。祖逖派使者前去調和，示以禍福，說明道理，使趙固等服從祖逖的統壹指揮，成功收復了黃河以南中原地區的大部分土地。當時，黃河沿岸還有壹些塢堡的主人，懾於趙軍的強大，被迫歸順石勒，把兒女送到相國做人質。祖逖了解他們的處境，有時派小股部隊化裝抄襲這些塢堡，以示不臣服晉朝，打消石勒的疑心。塢堡感激涕零，經常幫助北伐軍刺探消息。祖逖因此得以在戰場上占據主動，多次擊敗趙軍。
祖逖為人和善，體恤百姓，即使是那些關系疏遠、地位低下的人也不例外。將士們稍有功勞，他就會給予獎賞。他生活儉樸，不畜資產，勸督農桑，帶頭發展生產，死後接骨安葬，深得民心。劉琨上書親戚，極力稱贊祖逖的德行，晉元帝下詔提拔他為鎮西將軍。石勒見祖逖勢力強大，不敢南侵，便命人在成臯縣修葺母親的墳墓，並上書請求互市。祖逖雖然沒有回信，但允許雙方互市，獲利十倍，兵馬也越來越強。後來，祖逖的部將童儉反叛，回到後趙，石勒殺了他，並向祖逖示好。祖逖也與石勒講和，禁止邊將侵犯後趙，邊境暫時太平。 大興四年（321 年），晉元帝任命戴淵為征西將軍，都督兗、豫、雍、冀等六州諸軍事，司州刺史，出使合肥。祖逖認為戴淵雖有才能，但沒有遠見，收復河南雖費盡心血，卻得不到朝廷的信任。不久，祖逖又聽到王敦稱霸的消息，朝廷內部矛盾日益尖銳，他擔心內亂爆發，北伐難以完成，悲痛欲絕，壹病不起。
盡管病魔纏身，祖逖仍努力進取，他帶病開始重建位於黃河西側的胡陵城。胡陵城北臨黃河，西接成臯，地理位置十分重要，他擔心城南沒有堅固的壁壘，容易被敵人攻破，特意派兒子祖逖率人修築壁壘。但壁壘還沒築成，祖逖就在雍丘去世了，終年56歲。
祖逖死後，豫州百姓如喪考妣，喬梁百姓為他建了祠堂。晉元帝追贈祖逖為車騎將軍，任命他的弟弟祖曜統領軍隊。後趙攻入河南，祖曜無力抵擋，退守壽春。祖逖收復了河南的大片土地，河南最終被後趙征服。