南湖呈大弓形，四周植杨栽柳，湖中遍种芰荷，颇有风致，引来各方游人。清嘉庆十九年（1814年）秋，浙江钱塘的名士吴锡麟游南湖后曾写道：“宏村南湖游迹之盛堪比浙之西湖”。 明末（17世纪中叶），宏村人在南湖北畔建了六所私塾，时称“依湖六院”，以供族人子弟受业解惑。清嘉庆十五年（1810年），被邀到南湖游览的江浙闽道学政使罗文聘向村人提出建议：南湖秀色，湖波如镱，绿荷撑伞，垂柳入池，环境实在优雅；如果将依湖六院合并，建成规模宏敞的学堂，村人将受福无穷。村人认为这个主意不错，于是经过四年的努力，富者捐资，贫者出力，将依湖六院合并重建，取名为“以文家塾”，亦名“南湖书院”。 南湖书院由志道堂、文昌阁、启蒙阁、会文阁、望湖楼和祗园六部分组成。主厅堂分为东、中、西三部分。东侧的首进是木栅栏门楼；中进是书院的正厅“志道堂”——先生讲学的场所；后进的“文昌阁”设有孔子文位，以供学子瞻仰膜拜。中部的门楼是一个三层的门罩；中进的“启蒙阁”是幼童启蒙读书之处；后进的“会文阁”供学子阅鉴四书五经并以文会友。西侧临湖，筑有“望湖楼”，是教学闲暇的观景休息之地；“祗园”则为内苑。 书院所用的梁柱大都为整根的巨木，而且是樟木、白果之类有香味的良材。 南湖书院自古就是黟县的文人墨客兴会讲学之处，同是也培育了不少人才，像清代的诗人汪承恩，曾任大清内阁中书、民国时期驻英、日公使及代总理大臣的汪大燮，现代著名科学家李晓梅等一批著名学者，都是在这里启蒙的。