「黄牛党」、「黄牛」以及「司法黄牛」这类词汇的产生，其根源可能源自对地下经济中人们疯狂抢购商品或票券的描绘，这种场景仿佛黄牛群的骚动，因此逐渐将「黄牛」这一形象用于形容那些在法律边缘进行中介活动的人，特别是指那些在司法领域中从事不当行为的人，即「司法黄牛」。
然而，「黄牛」一词还有另一种含义，源自吴语方言，指一个人爽约。当约定的时间地点到了，对方却没有出现，我们便称其为「黄牛」。这种情况下，「黄牛」代表了不负责任和不履行承诺。据《汉语方言大词典》记载，方言中，许多情况下，未能按预期完成的事情会被形容为「黄」。例如，麻将桌上无人胡牌，便说「这一圈黄了」；戏曲演唱出现严重失误，就说「这出戏唱黄了」。因此，爽约被称为「黄牛」与这种方言中的「黄」义相近，但具体含义仍有待进一步研究。
另外一种观点认为，「黄牛党」的称谓源于牛的特性。黄牛因其皮硬毛多，每年换两次毛，象征着频繁的交易和获取利润的行为。同时，在农村，黄牛通常不做重活，暗示着偷懒和投机取巧。因此，「黄牛党」被赋予贬义，指那些以不正当手段谋取利益的人。
追溯历史，「黄牛党」这个词的出现与解放前的经济环境有关。当时，一些投机商大量囤积法币、布匹、医药等物资，以期获取暴利。然而，他们往往会被大资本家和大买办联手剥削，导致自身利益受损，因此他们自嘲为「案板上黄牛」，这个名字由此流传开来。
“黄牛党”就是俗称的“票贩子”。“票贩子”在北京行话叫“拼缝儿的”，而上海人称之为“黄牛党”，近年来上海方言还称“打桩模子”，还有更形象的比喻把这类人称之为“票虫儿”。