乌纱帽最早出现在北宋初年。最初，宫廷中有人把男子裹头用的幞头改成一种纱帽，戴在头上，自觉很舒服。不久，此帽被皇帝看见了，很是欣赏，于是下令朝中官员都改戴这种纱帽，皇帝自己也戴起了这种帽子。当时的纱帽两旁各有一根细长翅，翅有一尺来长，走起路来，上下颤动。那些官老爷们为了防止帽翅抖落，于是养成了小心翼翼走路的习惯。
明朝时，皇帝已不戴这种纱帽了，但官员们仍戴，只不过纱帽帽翅的长度缩短了，宽窄也不相同，官阶越高，纱帽的双翅越窄，反之双翅越宽。在明世宗时，人们才将纱帽真正称为乌纱帽。
清初时，一些明代降臣仍戴着乌纱帽，直到清朝统治巩固下来，才下令将乌纱帽改为了红缨帽。
但乌纱帽一词却沿用下来了，并逐渐成为人们对官位的代称。