公园的名称为什么起“红梅”二字呢？这是因为园内的著名古建筑红梅阁而得名的。广场中央有“萧齐遗胜”四个大字，边长各为2米，均为金山石刻浮雕，因为，该广场前身是太平寺所在地，文笔塔是太平寺附属建筑，太平寺在齐建元年间由齐高帝萧道成所建，当时名建元寺。 1500多年来，太平寺和塔屡经毁建，宋著名诗人杨万里曾写道：“太平古寺劫灰余，夕阳惟照一塔孤”。说明寺和塔的历经沧桑。抗日战争时期文笔塔又一次遭到破坏，太平寺则于1958年逐渐荒废而被拆除，只留下寺内的这座孤塔。 1992年在太平寺故址兴建状元楼时，曾挖出由唐荆川撰写下的一块石碑，上面写道这样一句:“惟塔则萧齐旧物也。”意思是只有这塔是齐代那时留下的，说明此塔年代久远。这“萧齐遗胜”四字便是指的公园内这座文笔塔。