胡雪岩拥有资产近3000万两白银的家业，田地万亩。事业有成的胡某人显露出“暴发户”的浅薄和荒淫。他在生活方面极尽奢靡，处处显露出那种趾高气扬的神气。《胡光墉传》记载：胡雪岩修建“第宅园囿，所置松石花木，备极奇珍。姬妾成群，筑十三楼以贮之。”也有资料说“大起园林，纵情声色，起居豪奢，过于王侯，骄奢淫逸，大改本性。”他耗巨资营造的庭园被誉为“江南第一豪宅”。
胡雪岩酷爱女色，他经常在街市上寻觅美色，看见有姿色的美丽女子，就请人说和，身价再高也不计较，而且还会给女方的家人安排好差事。他仗着有财有势，把冒犯他的女子娶回后再休弃，肆意侮辱良家女子。他强买民女，通常只过三五天或一两个月，新鲜感一过不喜欢了就给银数百两，任其改嫁。据《见闻琐录》记载，遭到他喜新厌旧抛弃的“凡买而旋遣者，殆数百人。”
《南亭笔记》记载：有一天，胡雪岩穿着朴素的衣裳到一个妓女处。那妓女看胡雪岩的穷酸相以为没多少油水，便懒得理他。只有一个老妇人殷勤招待了他。第二天，胡雪岩派人给老妇人送了两包金叶子。妓女那叫后悔啊，让老妇人跟着来人去请这位财神。胡也挺给面子，再度光临，然而却是徐庶进曹营一言不发，只是捻须微笑，嘲讽妓女有眼不识他这座泰山。
《庄谐选录》载有：胡雪岩一次经过一家裁缝店，见门口一个苗条女子很是上眼，就盯住多看了几眼，那女子觉察之后，急忙关门进入屋内。胡雪岩的自尊心受到了伤害，于是派人拿巨资向其父亲提亲要纳其为妾，女子之父见钱眼开答应了。胡雪岩择日将这女子娶回，在新房里，胡雪岩自己喝着酒，然后让新娘子裸体躺在床上，又让仆人在一边高举着大蜡烛，他来回踱步看着这新人，放声大笑说：“前几日你不让我看，我偏要看。现在你还有什么办法制止我?”说完推门而去，到别的小妾房中过夜。第二天派人对这女子说：“这间房中所有的物件都可以拿走，你可以改嫁他人，这里没有你的位置。”
胡雪岩姬妾成行，号称“十二金钗”，分住院内长弄中各楼，按序各占一室。到了晚上，侍女端上盛有各姬妾牙牌的银盘，胡雪岩随手翻一个，侍女就按牌上名字叫这个姬妾侍寝，宛如皇上翻牌子一样。胡雪岩每天早晨起床，由佣人端上用翡翠盘盛着的青黄赤白各色宝石若干枚，让他“养目”。每日合家大小还要鹭序般的去上房恭请晨安。至于唱戏祈福，摆酒张筵，无不穷极奢华。胡雪岩喜欢和众多的姬妾一起嬉戏、玩乐。他让诸妾穿上写着“车”“马”“炮”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，“下活棋”。胡雪岩和姬妾一起过着肉林酒池、欢歌盛宴的奢靡生活。享乐纵欲无度，挥金如汤沃雪。派头甚至超过了一些勤政节俭的皇帝。
胡雪岩虽聪明一世，在生意场上八面玲珑如鱼得水，但在官场上却是个“低能儿”，政治上的“不成熟”，不谙官场规则，成为李鸿章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠与李鸿章政治斗争的“牺牲品”。