秦始皇统一六国后建立中央集权制度,在中央设三公九卿,分掌全国事务。其中三公为丞相、太尉和御史大夫。丞相分掌行政权,太尉分掌兵权,御史大夫分掌监察权。
不过秦朝虽然设立了太尉,而职位一直空缺,因为秦始皇不想让别人掌握军权,这是可以理解的。
汉承秦制,也设有太尉一职,不过西汉时期的太尉并不常设。西汉第一任太尉为卢绾,是刘邦的近臣发小,不过卢绾后来造反,太尉一职暂时撤销,职权归于丞相,后来由周勃接任。
周勃以太尉之职平定诸吕,拥立汉文帝继位后,转任丞相,太尉由灌婴接任,不久被撤销。到景帝“七国之乱”时,周勃之子周亚夫再次被任命为太尉率军平叛,事后转任丞相,太尉一职再次被撤销。
汉武帝时,任命自己的舅舅田蚡为太尉,没过多久被撤。此后西汉再无太尉一职,其职权分于丞相和大司马,最终被内朝官的大司马所完全接替。
从西汉太尉的情况来看,虽然职权地位很高,但它只是一个临时性的职位,遇到大的战事时设立,平定后便迅速撤销,最终被大司马所替代。
东汉建立后,改大司马为太尉,分掌全国军权。不久光武帝设立尚书台,并强化其权力,太尉的职权被尚书台所瓜分。由于东汉废除了丞相,所以太尉反倒一定程度上担负起丞相的职权,有点“挂羊头卖狗肉”的意思。尚书台建立之后,太尉便成为荣誉性的虚职,曹操掌权后废除太尉一职。
曹魏建立后恢复太尉,贾诩、钟繇、司马懿、满宠、蒋济、王凌等人曾担任,司马懿担任太尉时曾驻兵关中,与诸葛亮对抗,有很大实权。司马懿掌权后,太尉王凌起兵叛乱。司马懿平定王凌后,太尉便成为荣誉性的虚职,且时有时无。
隋唐建立三省六部制度后,太尉便彻底成为荣誉性职务,地位也下降。宋朝官、职、差遣相分离,太尉只是当作资历升迁的凭证。宋徽宗时期,太尉虽然再次被定为武官之首,不过宋朝的“官”只是用来领工资的,如果没有给予相应的“职”,这个太尉是没有实权的。
元朝时的太尉成为加赏的虚职,并且被滥授,含金量大大降低,到明朝时便彻底废除了太尉一职。
综上,太尉一职始设于秦朝,分管全国军事,相当于军委主席。其职权最高时期是在西汉、曹魏时期,在西汉时不常设,之外的时期便成为荣誉性虚职。明朝时彻底废除太尉。