胡雪岩有多少老婆也众说纷纭，史料如下。
李莼客《越缦堂日记》载，胡雪岩“遂日骄侈，姬侍十余人。”
醒醉生（汪康年）《庄谐选录》卷十二云，胡雪岩“妻妾极多，于所住之室作数长弄，诸妾以次处其中，各占一室，若宫中之永然巷。胡不省其名，每夕由侍婢以银盘进，盘储牙牌无数，胡随手拈得一牌。婢即按牌后所镌之姓名呼入侍寝，每夕率以为常。”
按此说，胡雪岩和皇帝差不多。
李伯元（宝嘉）
《南亭笔记》卷十五云，“浙江巨商雪岩，有妾三十六人，以牙签识其名，每夜抽之，得某妾乃以某妾侍其寝。” 陈云笙（代卿）《慎节斋文存》卷
《胡光墉》篇云，（胡光墉即胡雪岩）胡雪岩在破产前召集家人商议，“夫妻上坐，姬妾二十四人。”
而台湾作家
高阳的小说
《胡雪岩》取胡有大小十二个老婆之说，也是一种观点。 辞典上胡雪岩的条文中没有关于胡的妻妾的记载，胡的后人也没有明确的记叙，在后人看来，这种事并不光彩，也说不清楚，在封建社会，有钱有势的男人取多少老婆法律并无禁止，皇帝老子可以有三宫六院七十二嫔妃三千宫女，那达官贵人除明媒正取的太太外，有几个妾都是很正常的，看看
《红楼梦》中的荣国府，那些男主子除了太太，都有小妾，像贾琏太太是
王熙凤，侍妾是平儿，还有几个丫环，他还要玩弄鲍二家的媳妇，包二奶尤二姐。连宝玉屋里都有大大小小上十个丫环，整天与这些少女调情说爱，与袭人同床共枕。历史上的许多文人也都有蓄妾的传统，像
白居易、柳永都有侍妾，有的六十了还讨小老婆。 如此看来，取小老婆是男人的本事，也是男人的需要，特别是成功的男人。作为吴雪岩这个成功的商人取了一二十个小老婆，一点也不奇怪。我不在此作道德的评判，试想当代的的男人如果有胡雪岩这样的社会地位和财富，会守着一个太太过日子吗？
吴雪岩的同时代人没有搞清楚吴有多少老婆，想来也不奇怪，取小老婆是他的私事，用现在的话说，是个人隐私，再说，胡没有能善始善终，最后破产败家，给这些小老婆些
养老金，遣散回家。胡还是有些良心的。从史料看，当时的史家和文人对胡雪岩都很嫉妒，有些记载明显有编造丑化的态度，说他不知道自己老婆的姓名，像皇帝一样要
翻牌子来决定那个小老婆侍寝。这其实也反映了这些文人的心态，大多数男人也向往有那一天，靠翻牌子来决定那位美女来接待，现在不少按摩店就备有照片册，由客人按图点美女，以满足男人的好色心理，这就是现在的色情行业发达的社会基础。
我还有点疑惑的是，做为名人，胡雪岩不过是百多年前的人，他的历史这这样模糊不清，他第一筒金是怎么淘的？他有多少老婆？说不清楚。现在许多报纸也以追遂名人隐私为重头戏，报纸杂志电视广播上许多名人的故事有多少是真的，有多少是假的，还有不少名人自己写的或是请枪手写的传记有多少是真的，我真怀疑，历史有时就是一个任人摆布的小姑娘，有钱有势的男人想怎样干都可以。