“滇王与汉使者言曰：“汉孰与我大？”。及夜郎侯亦然。以道不通，故各以为一州主，不知汉广大”（《史记.西南夷列传》）。
话说前122年，汉武帝为寻找通往身毒的道路，遂派使者前往夜郎，欲招抚夜郎国主。在前往夜郎的途中经过夜郎的邻国滇国，滇王为以示对汉朝的友好之心，就特意设宴款待汉朝使者。在宴席中，滇王问汉使：“汉朝和我的国家比起来哪个大”，汉使听后是好笑不已，他没想到这个国王居然狂妄自大到这种地步，但也不好说什么，只是随意笑笑敷衍过去。
但是让汉使没想到的是，他到了夜郎国后，夜郎国主居然也跟滇王一样，他也问汉使：“汉朝和我的国家哪个大？”，汉使接连听到如此好笑的问题，心中真的是不知该如何回答。因道路不通，西南夷地区与汉朝的交流很少，所以滇王和夜郎国主都不知道，他们治下的疆土顶多就只是与汉朝的一个郡相当，根本就不能和幅员辽阔的汉朝相比。
以上就是“夜郎自大”的故事。
当然，实际上说夜郎国“夜郎自大”到还真的是冤枉夜郎啦！以夜郎当时所处的环境，在道路不通，与中原王朝交流甚少，整个西南夷地区就等于是一个封闭地区的情况下，他周边国家除了滇国，就属它疆域最辽阔、军事最强大、经济最富有，在整个西南夷地区，它就是霸主级的强国，是想欺负谁，就能欺负谁。
首先，在西南夷地区，夜郎国的疆域是最大的，《史记.西南夷列传》载：“西南夷君长以什数，夜郎最大”，在战国时代，夜郎就已经是雄踞西南地区的一个少数民族君长国，其实力雄居西南诸国。而据《后汉书.南夷西南夷传》所载：“西南夷者，在蜀徼外，有夜郎。东接交趾，西有滇国，北有邛都国”、“巴、黔中以西，皆夜郎国地也”，以及《史记.西南夷列传》所载“西南夷君长以什数，夜郎最大……夜郎者，临牂柯江”，当时夜郎国的疆域主要集中在贵州西部和南部地区，鼎盛时期还曾拥有一小部分疆域在云南东北、四川南部及广西西北部地区。
其次，夜郎国的军力也是当时西南夷地区最强的，《史记.西南夷列传》载：“窃闻夜郎所有精兵，可得十余万”，建元六年，大行令王恢出兵东越，派番阳令唐蒙出使南越，告知南越王大汉已出兵。此后，唐蒙在南越国期间，得知牂柯江的上游有一个叫夜郎国的国家，此国拥有精兵数十万。
想想看，在西南夷这个遍布小国、弱国的地区，能拥有数十万精锐之士，同时当时唐蒙还希望借助夜郎的士兵“浮船牂柯江，出其不意，此制越一奇也”，即让夜郎士兵乘船直下，出其不意的进攻南越都城。试想，唐蒙既然敢让夜郎的士兵去直接进攻南越都城，其实力自然是不会太弱的。由此可以看出，在当时，以夜郎国的实力，它绝对是当之无愧的强国，几乎是可以横扫周边各国的。
最后，夜郎国的经济实力也是当时西南夷地区最富有的。首先就单单看，夜郎国能养得起数十万大军就可窥知一二，因为就是供着这数十万的大军，其物资、军饷、装备等都是一批巨大的支出，夜郎国能支撑起这支出，他的经济实力绝对是不弱的。
同时《史记.西南夷列传》曾记载：“独蜀出枸酱，多持窃出市夜郎”，就是说当时蜀地的善人，经常不顾朝廷的禁令，将蜀地的特产枸酱走私到夜郎国。想想看，是什么原因让蜀地的商人铤而走险的将枸酱贩卖到夜郎呢？还不是因为夜郎国的百姓有钱吗？此外，史记还曾载：“居其（夜郎国）官者，皆富其十世”，想想看，在夜郎国做一会官，就能富十代，亦也可知夜郎的富有。
夜郎国之所以会如此富有，主要是得益于它的外贸生意。《史记.西南夷列传》载：“元狩元年，博望侯张骞使大夏来，言居大夏时，见蜀布、邛竹杖，使问所从来？曰：从东南身毒国（今印度），可数千里，得蜀贾人市”。张骞出使大夏时，曾在大夏的市场上看到来自于蜀地的蜀布和邛竹杖。张骞看后，询问大夏人这些是从哪里来的，大夏回答是从印度买来的，在那里有蜀地的商人在做买卖。
而在当时，蜀地要想前往印度做生意，他就必须经过夜郎国，且与南越国、滇国等国的贸易也都需经过夜郎。同时据考证，古代的“海上丝绸之路”就是从夜郎国开始的。如此，当时的夜郎国就是靠着这个作为“中转站”的存在，从而获得了非常巨大的利润。
如此，从以上种种记载来看，“夜郎自大”的夜郎国绝非是小国，也并非是狂妄自大的弱国，相反他的实力还是很强的，除了打不过大汉、匈奴，其余亚洲各国，夜郎国还是能与他们切磋一二的，甚至很多还是能完爆的。
其实也不怪夜郎国王会问汉使“汉孰与我大”这样的“傻帽”问题，毕竟在当时的西南夷地区夜郎国可是超级大国，这种地位，再加上与汉朝交流的闭塞，所以他问这个问题，真的不算是过分的事情。夜郎的自大就好比晚清，晚清时期上至皇帝，下至士大夫，他们皆认为自己的王朝是“天朝上国”，是世界的中心，是最强大的国家，当殊不知，当时的世界早已不是中国的天下，世界的中心也早已不在中国，而是在欧洲。
关于夜郎国的记载主要见于《史记·西南夷列传》，而根据考古的资料，一般认为其在中国的战国时代已经存在。因为牂牁江是今六盘水市与普安县的交界处，所以六盘水和毕节赫章可乐遗址这一片被认为是夜郎古国所在地。湖南新晃侗族自治县曾名夜郎县。
《史记》中记载夜郎是当时西南夷中最大的国家，“临牂牁江”，汉武帝时因意图攻打南越国，派唐蒙出使南越国，发现当地有蜀地生产的枸酱，得知是从夜郎来的，因此上书武帝，可以通夜郎以制南越国，因此武帝派唐蒙出使夜郎，见其首领夜郎侯多同，并厚赐其财物，约定要在当地设置郡县官吏并以其子为县令，夜郎侯认为其国家与汉朝距离远，就暂且先答应，但后屡次不服于汉，后因此有了“汉孰与我大”此一名言，成为“夜郎自大”一成语的典故，蒲松龄在《聊斋志异·绛妃》中写道：“驾炮车之狂云，遂以夜郎自大。恃贪狼之逆气，漫以河伯为尊。”直到汉朝灭亡南越国后，夜郎国才开始入朝，武帝封为夜郎王。《汉书》记载夜郎王兴在汉成帝河平二年（前27年）时举兵反汉，汉朝派兵诛灭，夜郎国亡。改设郡县。直到宋朝还短暂的出现过夜郎县的称号。
可乐是夜郎古国鼎盛时期的政治中心，可乐遗址为全国重点文物保护单位，在今贵州省赫章县。
湖南新晃县人文历史悠久，秦汉时期属夜郎国治地，唐宋曾两次置夜郎县。清道光五年编纂的《晃州厅志》序载：“晃州，古夜郎国”。这里是中国巫傩文化保存最完整的地区，延续“竹崇拜”、“牛图腾”与斗牛、斗狗等独特民族风情。
唐代大诗人李白闻王昌龄贬谪龙标（即今黔阳）时写下了《闻王昌龄左迁龙标遥有此寄》的不朽名句：“杨花落尽子规啼，闻道龙标过五溪。我寄愁心与明月，随风直到夜郎西。”