米糧庫胡同在地安門內大街路西，今稱米糧庫胡同,處於油漆作胡同南面。米糧庫屬內宮監,京師坊巷志稿米糧庫，疑即明之米鹽庫。又東北則地安門也。《明宮史》：內宮監所管十作日木作、石作、油漆……並米鹽庫、營造庫等。明之米鹽庫，清代改稱米糧庫。由清《乾隆北京城圖》上看，庫址在油漆作之南。
據了解,這故居在清末期間乃取名「淑園」,為光緒朝刑部主事陳宗藩所有。到了民國中後期,為中國天主教大主教于斌所住。陳宗藩，字蓴良，祖籍金陵，福建省福州市生人。光緒甲辰科(光緒三十年1904年)進士，任刑部額外主事。燕都從考作者,光緒末年官費留學日本，在東京帝國大學學法政經濟。歸國後在郵傳部及懋業銀行工作。
1923年在米糧庫(胡同)東口內路北(即米糧庫胡同1號院)，置地十餘畝，自行設計，建成一座花園式的住宅，取名「淑園」園內有山池荷塘、花木極盛。30年代以前,輔仁大學校長陳垣、北大教授傅斯年均先後在淑園住過。
1977 年鄧小平同志第三次東山再起,回北京後就搬進了此處院落，從此以後,他們就一直住在這裡,直到分別去世。故居是一個兩進的院子，外表看沒有什麼更特別的，外院子是秘書們辦公的地方，裡面住著警衛、司機和其他辦公人員，總設計師和家人住在裡面的院子。整座院子在外面看,東西長約七八十米寬，五十多米深，面積大概有十幾二十畝吧，院子裡古樹參天。