很多人想起林徽因，都會想到她豐富的情感生活，但卻忽略了她還是一位出色的建築學家，在建築方面擁有很高的成就。1953年，林徽因曾和吳晗大吵一架，甚至指著吳晗大罵，告訴他林家滿門忠烈，吳晗算是個什麼東西。那麼到底是因為什麼事讓林徽因如此生氣呢？
實際上，早在1930年，林徽因和梁思成就已經對國內古建築進行了調查，並想盡辦法予以保護，之後她一直為了保護古建築而努力，並發表了許多這方面的論文和報告。到了建國後，她更是為了保全古建築付出了所有的心血。
在1952年，北京召開了會議，商討長安左右兩門是不是全部拆除掉，其實這裡人們商討的就是在天安門前東西兩面的兩個三座門，但由於年久失修，很容易對路過的人員造成上海，所以北京才有了將兩個三座門拆除或移走的想法，而且施工隊都已經找好了，隨時都可以開始行動。
作為建築學專家，林徽因當時也在場，不過她並不同意拆除的想法，並以現場的椅子作為例子進行說明，她表示，如果這些古建築對交通或行人造成了不便，乾脆多開幾個城門就好了，何必要全部拆除呢？這讓在場不少人都有所意動，畢竟這都是傳承了幾百年的老建築，戰爭年代都沒有坍塌，可是到了現在就這樣拆除，實在是太可惜了。
雖然林徽因為了這件事做了努力，可是由於政府方面已經有了決斷，而且做好了相關部署和準備，最終還是將長安左門和長安右門拆除了，從此之後，北京市再也沒有了這兩座建築。
1953年，吳晗以北京副市長的身份召開了一次會議，會議上，他竟然直接表示要拆除所有城內的古牌樓。
在他看來，這些古牌樓對北京造成了極大的影響，不僅影響了市容，而且還對交通建設形成了阻礙，留下實在是沒有什麼好的作用，還不如直接拆除，這樣更加方便交通規劃。而且他覺得牌樓在古代就是行刑的地方，它們的存在很容易影響到人們對北京城的印象，所以無論如何都應該拆除。
之後吳晗還發表了自己的看法，他覺得北京作為首都應該與時俱進，可以修建一些具有歐洲風格的建築，比如說噴泉、銅像等等，這樣的建築會讓北京煥然一新。不過，對於他的想法，林徽因和梁思成完全不認同，他們認為古牌樓是不是會對交通造成影響，這是城市和交通規劃方面的事情。
而且，林徽因認為如果死過人就要被拆除，這個理由實在是太牽強了，按照這個思路來看，那麼故宮還有存在的必要嗎？梁思成非常認同林徽因的想法，在他看來北京可以擁有新的建築，但卻不一定要以拆除傳統的古建築作為代價。
總之，林徽因和梁思成對此十分反對，但吳晗卻並不在意，雙方為此進行了爭論，但始終無法說服對方，最後只能暫時散會。在離開之前，林徽因又一次說道，如果拆了牌樓，日後人們一定會後悔，這是古董，就算以後重建也只是假的了。可是吳晗卻因此惱羞成怒，甚至在背後諷刺林徽因出身低微，所以思想太過守舊。
這番話讓林徽因憤怒不已，她忍不住質問吳晗，林家滿門忠烈，你又算是什麼東西？吳晗知道自己說錯了話，一句話都不敢爭辯。
而林徽因的話在後來也得到了驗證，當年北京拆除了不少古建築，可是到了後來卻想要重新復建，可惜這些復建的建築就算外表再相似，也失去了歷史意義。
