岳麓山自古就是文化名山。西晋前是道士活动地，曾建有万寿宫、崇真观等。西晋武帝泰始四年(268年)麓山寺创立，至今依然保存完好。东晋陶侃曾建杉庵读书于此。六朝建道林寺。唐代马燧建道林精舍。唐末五代智璇等二僧为思儒者之道，在麓山寺下，割地建屋，建起了以居士类的学舍，岳麓书院就是在智办学的基础上因袭增拓而诞生的。
岳麓书院主体建筑面积有31000多平方米，分为书院主体、附属文庙及新建的中国书院博物馆。岳麓书院占地面积25000平方米，现存建筑大部分为明清遗物，其古建筑在布局上采用中轴对称、纵深多进的院落形式。岳麓书院是中国现存规模最大、保存最完好的书院建筑群。
