衣冠禽兽一词，相信很多人都会在现实生活和影视剧中都是骂人的话，在辞海和成语词典等很多工具书中几乎都被解释为贬义。如上海辞书出版社1979年出版的《辞海》中，即非常直接地解释为：衣冠禽兽，比喻品德败坏的人。谓这种人虚有人的外表，行为却如禽兽。
事实上，与许多成语背后有古老的故事一样，只是”衣冠禽兽”一语来源于明代官员的服饰，属于较为年轻的词汇。据史料记载，明朝规定，文官官服绣禽，武官官服绘兽。品级不同，所绣的禽和兽也不同，具体的规定是:
文官一品绣仙鹤，二品乡绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣 鹌鹑。武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。
文武官员一品至四品穿红袍，五品至七品穿青袍，八品和九品穿绿袍。
所以，当时”衣冠禽兽”一语是赞语，颇有令人羡慕的味道。可以说，在当时政府机构没有那么庞大的时候，能够穿上禽兽服的，起码也是正科副处级干部，是一个实实在在的官员专用词汇。
但是，时间走到了明朝中晚期，宦官专权，政治腐败。”文死谏，武死战”的从政理念被贪官佞臣彻底颠覆。官场腐败，文官爱钱，武将怕死。 文官武将欺压百姓无恶不作，声名狼藉，老百姓视其为匪盗瘟神，于是，”衣冠禽兽”一语开始有了贬义，老百姓对为非作歹、道德败坏的文武官员称其为”衣冠禽兽”。其实，这时候的衣冠禽兽还是官员专用词，但已经是贬义了，逐渐滑向了衣冠形容禽兽的趋势。
其贬义之称，最早见于明末陈汝元所著《金莲记》一书。清代以后，”衣冠禽兽”一语遂用做贬义，泛指外表衣帽整齐，行为却如禽兽的人，比喻其道德败坏。也就在这些时候，衣冠禽兽已经逐渐走进群众的队伍，变为了大众词汇，只要你足够渣，你就配的上！