早在19世纪下半叶至20世纪初，德国的陆军将官分为4级，海军将官分为3级，即：陆军元帅、大将，陆、海军上将，陆、海军中将，陆、海军少将。
当时，大将和元帅地位相当，通常都担任集团军监察长（相当于集团军司令）。元帅没有兵种的区分，而大将则按兵种分为步兵大将和骑兵大将。海军无元帅、大将衔，陆军的上将也按兵种分为步兵上将、骑兵上将和炮兵上将；中将和少将没有兵种的区分。海军将官则在军衔前冠以“海军”，如海军上将、海军少将等。
到了纳粹德国时期（1933-1945年），希特勒在疯狂扩军和进行侵略战争的过程中，逐步地恢复了德意志国家历史上所有的将官和元帅军衔，并规定了诸军兵种和各级军衔相应的名称和级别，如：帝国元帅；元帅，海军元帅；大将，海军大将；兵种上将，海军上将；中将，海军中将；少将，海军少将。空军军衔与陆军相同。
这一时期，德国的旅长和师长通常为少将和中将；军长和集团军司令，通常为上将和大将；集团军群和战区司令，全军和各军种的总司令，通常由元帅担任。
纳粹德国时期，元帅、大将、中将和少将都没有兵种区分，只有军种的区分；在上将这一级，陆、空军有兵种的区分，而海军上将则没有兵种区分。德国陆军和空军的上将虽有兵种的区分，但在德文资料中，通常是在某个上将的名字首次出现或者介绍有关将官的简历时，才使用兵种上将的全称，例如：卡尔·埃步尔步兵上将，瓦尔特·冯·阿克斯特尔姆高射炮兵上将等等；而在其他情况特别是泛指的情况下，则通称上将，而不称兵种上将。