早在19世纪下半叶至20世纪初,德国的陆军将官分为4级,海军将官分为3级,即:陆军元帅、大将,陆、海军上将,陆、海军中将,陆、海军少将。
当时,大将和元帅地位相当,通常都担任集团军监察长(相当于集团军司令)。元帅没有兵种的区分,而大将则按兵种分为步兵大将和骑兵大将。海军无元帅、大将衔,陆军的上将也按兵种分为步兵上将、骑兵上将和炮兵上将;中将和少将没有兵种的区分。海军将官则在军衔前冠以“海军”,如海军上将、海军少将等。
到了纳粹德国时期(1933-1945年),希特勒在疯狂扩军和进行侵略战争的过程中,逐步地恢复了德意志国家历史上所有的将官和元帅军衔,并规定了诸军兵种和各级军衔相应的名称和级别,如:帝国元帅;元帅,海军元帅;大将,海军大将;兵种上将,海军上将;中将,海军中将;少将,海军少将。空军军衔与陆军相同。
这一时期,德国的旅长和师长通常为少将和中将;军长和集团军司令,通常为上将和大将;集团军群和战区司令,全军和各军种的总司令,通常由元帅担任。
纳粹德国时期,元帅、大将、中将和少将都没有兵种区分,只有军种的区分;在上将这一级,陆、空军有兵种的区分,而海军上将则没有兵种区分。德国陆军和空军的上将虽有兵种的区分,但在德文资料中,通常是在某个上将的名字首次出现或者介绍有关将官的简历时,才使用兵种上将的全称,例如:卡尔·埃步尔步兵上将,瓦尔特·冯·阿克斯特尔姆高射炮兵上将等等;而在其他情况特别是泛指的情况下,则通称上将,而不称兵种上将。