太山之名，始见于沈约撰写的《宋书》，相传北汉时有山民石敢当，以勇敢闻名，他居住的山也由此闻名于世。寺名取自“泰山石敢当”的谐音。据碑文记载，太山寺创建于唐代景云元年（ 710），原为道观，名“昊天祠”，明洪武二十四年（1391）重建改为佛寺。入寺庙山门依次为钟鼓楼、东西厢房、大雄宝殿。大雄殿顶二层叠起，上座六角形观音阁与文殊、普贤二殿。阁周塑有十八罗汉、四大金刚。泥塑极富明代塑像俏丽俊秀的风格。六角亭后为石构建筑“莲花宝洞”。寺左另有水神祠，祠底有龙泉一脉，汩汩细流。佛寺别名龙泉大概由此而得。山脚有名将李存孝之墓，李存孝本名安思敬，唐末晋王李克用养子，做战极为勇猛，屡建奇功，后在太原被李克用车裂。其墓现为市级文物保护单位。