美術館主館是由加賀正太郎先生做為別墅所設計的，並將其命名為「大山崎山莊」。大正時代採用木造結構建造，到昭和初期進行了大幅擴建。 加賀先生年輕時曾前往歐洲遊學，當時造訪英國溫莎堡時所眺望到的泰晤士河流動的情景，刻印在記憶深處，並據此買下木津、宇治和桂三條河川交匯的大山崎土地，於1912年開始著手建造山莊。一期工程於1917年左右完成。當時的山莊只相當於現在主樓玄關大廳的部分，據稱靈感源自其在英國所看到的礦工房屋。

1922年加賀先生早早便開始著手對山莊進行改造，現在的主樓大約是完成於1932年左右。上樑部分採用了看得見木骨的半木骨造結構，這是英國都鐸風格（Tudor Style）的特徵，整體為鋼筋混凝土結構，屋頂部分採用鋼骨組成。從現在作為咖啡廳的主樓2樓的陽台眺望，眼前可見一如往昔的三川合流的雄偉景致。

為了讓往昔的大山崎山莊作為美術館重獲新生，增建了由建築家安藤忠雄擔綱設計的新樓----地中館。地中館被安藤先生命名為「地中寶石箱」。為了讓建築與周圍景觀融為一體，地中館設計採用了半地下結構，圓柱形的展示空間上部栽種有植物。

地中館和主館以通道相連。通道由混凝土建成，出了主館、走下位於兩側高牆之間的樓梯，便抵達地下的展示空間。樓梯通道的上部四面和正面採用了玻璃，因此能夠欣賞周圍美麗的綠色樹木。展示室常設展示有印象派巨匠克洛德·莫內（Claude Monet）的《睡蓮》系列作品。

距離大山崎山莊動工之年剛好100年整的2012年，安藤忠雄先生所設計的新樓山手館｢夢之箱｣落成了。

山手館位於睡蓮綻放的水池旁，為地面1樓建築，與圓柱形的地中館「地中寶石箱」形成對比，採用了箱形結構。為了確保從面朝水池的主館1樓陽台[展示室1]眺望棲霞樓的景觀不受影響，建築物採用了掩映在周圍樹木中的佈局設計，而且在建築物上部栽種有植物，直線型混凝土建築物神奇地與天王山的大自然融合在一起。

建造山手館的場地，曾經是因蘭花栽培而聞名的大山崎山莊溫室。連接主館和山手館的玻璃走廊，也是前往溫室的通道。過去，加賀正太郎先生曾在此追求蘭花之夢，這場所現在，成為朝日集团大山崎山莊美術館展開新的一頁。