記憶里曹少芬從未對感情高調過，除了公開嫁給張晉。對於這個年代的人來講，無疑對蔡少芬最終沒有和吳奇隆走到一起而覺得遺憾，就好比對齊秦和王祖賢、莫文蔚和馮德倫、周杰倫和蔡依林一 樣。而過去了就是過去了，現在的蔡少芬應該過得很幸福了。殊不知，她曾被赫赫有名的大富豪劉鑾雄包養了六年!而當時她只有18歲。
15歲時，蔡少芬便參選一個模特大賽，結果無獎而歸，17歲時又參選港姐，成為當年冠軍的熱門佳麗，結果當年冠軍被擁有雙學位的郭靄明奪走，蔡少芬拿走季軍，卻還是被媒體熱捧為最年輕的港姐。那時蔡少芬還有些BABYFAT，化妝也濃，看上去倒不止17歲。不過讓蔡少芬聲名大震的卻是18歲在麗晶酒店(現洲際酒店)的百萬生日宴，為他慶生的正是商界名流劉鑾雄，與蔡少芬年齡相差二十歲。
蔡少芬從不承認與劉鑾雄的戀愛關係，而坊間也數度傳言蔡少芬是為還賭債被才劉鑾雄包養。 2000年，蔡少芬的阿姨向媒體爆料，聲言蔡少芬是自願跟劉鑾雄好，蔡少芬事後召開新聞會，向媒體哭訴為母親償還了過億賭債。
劉鑾雄，除蔡少芬，還和多位女星傳過緋聞
在蔡少芬年紀很小的時候父母便離異，母親嗜賭如命，為了逃避債務不斷遷居，而小蔡少芬也被逼著不停轉校，連朋友都沒有。加上在家又經常跟哥哥打架，蔡少芬形成了極重的自卑感和封閉的個性，覺得自己一無是處。為了替家人還債，蔡少芬拍戲後一直節衣縮食，把錢都留給他們。可是很快蔡少芬發現他們的賭債總是還不清，是一個永遠填不完的坑。蔡少芬覺得路越走越苦，於是想到了自殺。在一次到舊金山(舊金山)的旅途中，蔡少芬起了自殺的念頭，但心底里卻湧出一句話：「好好活著」。就在那次之後，蔡少芬回港後找到一班志同道合的朋友。有朋友的支持，重整心靈，生活才覺有意義。
這對曾經的情侶都花了十年青春為各自父母還債。吳奇隆的父親生意失敗欠下港幣一千多萬，為了代父還債，吳奇隆前後十年分別做過小販、救生員、裝修、地盤、清潔工人以至藝人，至今都未能還清。因此，蔡少芬發生這樣的麻煩事，他雖然會難過，但也是愛莫能助。
蔡少芬還被傳出於身高及年齡均相差一截的王祖藍拍拖，07年6月份二人拖手出席《13羅漢》香港首映，蔡少芬更大讚王祖藍是絕世好男人，值得嫁，稍後男方被揭發另有所愛。
