根據現有考據，這句話最早是出現在明末陳繼儒所著的《安得長者言》一書中。遺憾的是，這句很可能不是陳繼儒原創，因為該書是一部格言語錄集，記錄了陳繼儒遊學時，從各地「長者」那裡汲取的人生的經驗。
陳繼儒（1558~1639），字仲醇，號眉公，明代文學家、書法家及畫家。圖為清代徐璋所繪的《陳繼儒像》
那「長者」為何要這麼說呢？書中倒是有些答案，首先，「女子無才便是德」還有上半句相配，為「男子有德便是才」；然後，陳繼儒還對此句作了註解：「女子通文識字，而能明大義者，固為賢德，然不可多得；其他便喜看曲本小說，挑動邪心，甚至舞文弄法，做出醜事，反不如不識字，守拙安分之為愈也。」
也就是說，「長者」（應該也包括陳繼儒）認為，女子識字讀書的壞處在於被曲本小說「挑動邪心」，「做出醜事」。考慮他說出這句話的時代，很容易理解所謂的「醜事」是什麼意思。
儒家一直有「德本位」的文化傳統，男女皆以德為重。傳統女子教育，以「女德」為首，明朝亦然。在朝廷的宣教中，對婦女德行、修身的規範，往往放在首位。明永樂年間，仁孝皇后徐氏所作《內訓》，其中《德性》篇寫道：「貞靜幽閒，端莊誠一，女子之德性也。孝敬仁明，慈和柔順，德性備矣。」
仁孝皇后徐氏所作《內訓》
但明朝中後期，社會商品經濟不斷發展，人口流動性加強，社會風氣也逐漸開放，極大衝擊了傳統禮教。此時，人們對「女才」的認識也發生了變化，女性開始崇尚才華，男子則欣賞有才華的女子。明朝文學家葉紹袁在《午夢堂集·序》中寫道：「丈夫有三不朽，立德，立功，立言。而婦人亦有三焉，德也，才與色也。」更是把德、才、色三者並列，稱為女子的三不朽。
在此風氣下，「才女文化」開始出現，尤以江南地區最盛，這突出表現在明末清初文人與秦淮名妓的交往中。陳寅恪先生在《柳如是別傳》中就提到：「河東君及其同時名姝，多善吟詠，工書畫，與吳越黨社勝流交遊，以男女之情兼師友之誼。」當時，文人與名妓的交遊被傳為風流佳話，如「復辟社四君子」中冒辟疆與董小宛、陳貞慧與李貞麗、侯方域與李香君的事跡就被人津津樂道。
孔尚任所著《桃花扇》，描繪了侯方域和李香君的愛情故事
值得注意的是，這是文人之所以和名妓來往，主要是出於對名妓之才的欣賞。如馬湘蘭，其「姿首如常人」卻以「擅畫蘭」而才名遠著，名士王稚登七十歲時還與已「年五十七矣」的馬湘蘭「燕飲累月，歌舞達旦，為金閶數十年盛事」。
明《千秋絕艷圖》局部
然而，既然「才女」常以名妓為代表，就免不了讓一些人——如「長者」把文才和青樓淫風聯繫在一起，說寫作詩詞的妓女是「淫詞麗」，敗壞德性。再加上才子佳人小說對女子才情的尊崇，引發現實中才女不循禮法、才子風流多情的故事頻頻發生，也讓人們認為，痴迷文才、抒發性情多會邪淫不貞、滅理亂倫。
在德才相防的情況下，舍才而取德就是這些人理所當然的選擇了。可以這麼說，「女子無才便是德」是在「女才」發展挑戰了儒家「德本位」傳統之後激起的反彈。而且這種反彈不僅反「女才」，也反「男才」。「男子有德便是才」，言外之意就是，男子再有才華，德性喪失，也算不得真才。
但「長者」一席話雖然流傳較廣，卻代表不了明清社會的主流輿論。
一方面，推崇才女的人肯定不會被這麼兩句話便扭轉觀念。如清代著名文人袁枚就批評這一說法對女性才情的壓抑，主張尊重女性的文才。他認為，「聖人以《關雎》、《葛覃》、《卷耳》冠三百篇之首，皆女子之詩。」他還廣收女弟子，教授詩文。乾隆年間「南至閩粵，北極燕魯」，「一時紅粉俱拜門牆」，弟子最多達四十餘人，作品編為《隨園女弟子詩選》。在他影響下，古代女性文學得以在清朝到達頂峰。
《隨園女弟子詩選》
另一方面，正統儒家也不願意認同這句話，在他們看來，這句話雖然鄙夷了「才女」，但未免把話說得太死，還是要強調德才相濟的重要性，予以導正，恢復正統女教才好。
章學誠（1738~1801），清代史學家、思想家
例如，史學大家章學誠就舉出孔子最為推崇的周禮中關於婦學的記載，從考證儒教正統出發，證明「無才」主張並非聖賢本意。他認為婦女四德和正統的詩才都是古典婦學的正宗，「必由禮通詩」，而相比之下，「今之婦學，轉因詩而敗禮」。在他看來，女性可以有文才，但前提是要研習女教，遵守婦德，以德馭才。
晚清民國的女學堂
