李敖和胡茵梦很快共渡爱河。1980年5月6日，半年多的恋爱后，李敖与胡茵梦终于决定结婚。就在李敖家中，他们举行了极简的婚礼。此时李敖已45岁。
　 有人问李敖：胡茵梦的追求者甚多，不乏有钱有势的主，她何以被你李敖倾倒？李敖用北京土话作答：“帽子歪着戴，老婆讨得快。”他开玩笑说自己是“坏蛋”，但坏得出色。但婚后仅3个月，胡茵梦与李敖感情破裂分居。其实，准备结婚时，不愉快的气氛就已经开始笼罩。一方面胡茵梦的母亲一开始就反对两人结合，另一方面由于种种原因，昔日红遍台湾的电影明星胡茵梦开始遭遇冷落。就在胡茵梦结婚不久举行的金马奖颁奖仪式上，以往一贯被邀请担任主持人的胡茵梦，这次却被冷落在角落里！

　　1983年，李敖结识了小自己30岁的文化大学植物系女生王小屯，他现在的妻子。据李敖回忆那是3月11日下午，在台北仁爱路上，他看到一个候车的女孩正在看他在土城监狱时编发的《李敖千秋评论》丛书第三期。再看那女孩身高几乎与小蕾相同，颀长而丰满。特别是她读书的神态几乎与小蕾一模一样。李敖看着看着，就情不自禁地走近了她。

　　1992年3月8日，李敖和王小屯经过8年“爱情长跑”，终于走进结婚殿堂。1992年8月3日，李敖喜得一子李戡。1994年11月23日又喜得一女李谌。

　　王小屯婚后一直没到社会上谋职，成为李敖写作中不可缺少的助手和秘书。王小屯不事张扬，不求闻达，在婚后生活中一直保持着低调。1995年4月25日，一向不轻易在公众场合露面的王小屯，左手抱着女儿谌谌，右手拉着儿子戡戡，出现在圆山大饭店12楼的昆仑厅里，出席丈夫60大寿庆典。这一天，出席寿宴的人数有百余之众。当李敖和王小屯双双出现在寿席前，面对那只巨大的特制生日蛋糕时，场上响起了雷鸣般的热烈掌声。