在中國成語大詞典中，「不三不四」的解釋是「形容不正派，不像樣子」可是，中國的數字不只三和四，十個數字中為啥偏偏說「不三不四」而不說「不一不二」或「不五不六」、「不七不八」呢?
史料記載，古人認為天為一，地為二，天地相加成三。「三」不僅作為一個數的概念，還作為事物整體的象徵，所以稱宇宙中有三才：天、地、人;天上有三光：日、月、星;帝王中有三皇：伏羲、神農、黃帝;還有夏禹、商湯、周文王;人中有三曹和三蘇等。曹操、曹丕、曹植被稱為三曹;蘇洵、蘇軾、蘇轍被稱為三蘇。此外，古代還有奏曲之法叫「三疊」，即古曲詠唱時將某句反覆再三，著名的《陽關三疊》為中國十大古琴曲之一。在古今文學作品中亦有許多「三部曲」;漢字組合則有三水成淼、三木成森、三口成品、三金成鑫、三日成晶、三石成磊等。名言中更不乏「三人行必有我師」、「三省吾身」、「三思而後行」等。
關於「四」這個數字，古意則多含有周全、稱心，取事事(四四)如意之義。故有「四書」：論語、大學、中庸、孟子;「四詩」：齊詩轅固、魯詩申公、韓詩韓嬰、毛詩毛公。此外，戰國有「四君」：孟嘗君、平原君、春申君、信陵君;傳說有四美女：西施、王昭君、貂蟬、楊玉環;元曲有四大名門：關漢卿、鄭光祖、白樸、馬致遠;文房有「四寶」：紙、墨、筆、硯;文人有「四藝」：琴、棋、書、畫。總之，古人多視「四」為吉祥和稱心如意之義。
於是，人們將那些不正派、不正經的言行斥為「不三不四」。明代施耐庵在其《水滸全傳》第七回中就曾用到過這個成語：「這夥人不三不四，又不肯近前來，莫不要攧洒家。」
