太康十年,祖逖被阳平郡的郡府推举为孝廉,又被司隶推举为秀才,但是祖逖都没有从命。
元康元年,八王之乱爆发,祖逖得到重视,先后效力于齐王司马冏、长沙王司马乂、豫章王司马炽,历任大司马府掾属、骠骑将军府祭酒、主簿、太子中舍人、豫章王府从事中郎。
永嘉五年,洛阳沦陷,祖逖率领数百家的亲信南下到淮泗躲避战乱。到达泗口(今江苏徐州)后,祖逖被琅琊王司马睿任命为徐州刺史,不久又被征为军谘祭酒,率领部下驻扎在京口(今江苏镇江)。
建兴元年,晋愍帝即位,以司马睿为侍中、左丞相、大都督陕东诸军事,向晋愍帝请求率兵去洛阳勤王。当时,司马睿正开拓江南,根本无意北伐。司马睿虽 然不愿北伐,却也不便公开反对,晋愍帝于是任命祖逖为奋威将军、豫州刺史,但却只拨给祖逖千人粮饷、三千匹布帛,让他自己去招募战士,制造兵器。
太兴二年,祖逖率军进攻蓬关(在今河南开封),讨伐陈川。在浚仪与石虎交战,后来祖逖大败退至淮南。
祖逖所率部下军纪严明,得到了各地人民的积极响应。在几年内,收复了黄河以南的大片土地,使得石勒不敢南侵,祖逖因而被进封为镇西将军。然而历史上的大将们最后基本都没什么好下场。因为朝廷忌惮祖逖势力强盛,还派戴渊来牵制他。
大兴四年,因为朝廷内的明争暗斗,国家日渐衰弱,祖逖忧虑而死。祖逖死后被追封为车骑将军,他的部下也被弟弟祖约接管过去,但是随着祖逖的死亡,北伐大业也因此功败垂成。