建於1872年的胡雪岩故居經過一年多的時間，杭州市投資二千九百萬元，正式對外開放。這是一座典型的徽派建築，高高的馬頭牆，四面包圍起整座宅院，中有深深天井。從外邊根本看不出裡邊的亭台樓閣，傳統精美磚雕和西洋玻璃窗格裝飾的豪華，顯示出徽派商人內斂的儒學氣質與低調風格。
古宅內有芝園、十三樓等亭台樓閣。故居內還有董其昌、鄭板橋、唐伯虎、文徵明等名家的書法石刻作品，其中有兩頂罕見的紅木官轎尤其值得一看。
藍色玻璃窗飾顯得富麗堂皇，要知道在古代的時候，玻璃可是完全的富貴的象徵。
百獅樓，胡家的正廳，這就是正房太太居住的房子，二樓是正房原配夫人的臥室，原配和胡雪岩的母親就住在樓上，這個正廳是接待貴賓、商議大事的地方，這張紅木桌直徑2米，是杭州目前最大的一張紅木桌。
胡家的灶台，是南方大戶人家常有的叫七星灶，還有大銅壺和米桶，旁邊的小房間是給當時值夜班的大廚休息的地方，就像現在的值班室，因為以前老爺可能半夜起來要吃消夜，這樣就隨叫隨到的。
故居內最大的園林——「芝園」，是故居的精華所在。「芝園」以山水景象為主題，是雅致、詩情和畫意於一體的私家園林。那迴旋的明廊暗弄、亭台樓閣，高低錯落，清雅和諧。更有碑廊、石欄、小橋、水亭，曲折迂迴，巧奪天工，款款用心，步步是景，可謂「無景不奇」。
過了轎廳，就是這個二門，上面「修德延賢」是胡家家訓，胡雪岩希望自己的子孫能夠既德又賢，德才兼備，可惜這棟豪宅在胡雪岩去世不久後，就被子孫以抵債的方式抵押出去，300萬兩白銀建的，以10萬兩白銀抵給了當時的一位刑部尚書、協辦大學士。
入口處的胡雪岩故居，高高的白色牆壁，防火也防盜。
