清代，岭南私家园林更为兴旺，风格已臻成熟。除了仕宦人家，还有富商所建的私家园林，在广州的西关、东关、河南等新城区，出现了一批田园风光式的园林，带来一股清新风气。晚清时期，广州豪富建了一批豪华富丽的宅园。其中，以建于西关的潘仕成的海山仙馆最为出名。

潘仕成为广州富商，道光十二年（1832）考中顺天乡试副贡，因捐助巨款赈济灾民，钦赐举人，特授刑部郎中。此后，归粤地承办军火生产、帮办洋务，善于经营，颇多善举。约在道光十年（1830）间，潘仕成创建荔香园于西门外泮塘，其匾题“海山仙馆”，故荔香园习称“海山仙馆”，也有人称其为潘园。海山仙馆范围，当包括今荔湾湖西南部、逢庆大街以北、黄沙大道以东、龙津西路以西，占地数百亩。

海山仙馆与这一时期多数园林以小见大、精巧玲珑的风格不同，占地广袤，规模宏大，巧设地形，精心设计，达到宏大而不粗疏，园中有百亩大池，直通珠江。又担土取石以造山，山上松桧荫蔚，砌建石径，建有高数百尺的雪阁，高出树丛之上。临池建堂，廊庑回缭，雕饰工致。水中建歌舞台，又建有白塔。西北一带建有十余处曲房密屋，园中有不少设景有意仿效江南园林，以小桥、长廊贯串，点缀有致。园内遍植荔枝，池中荷花盛开。有楹联“荷花世界、荔子光阴”以记其实。在浓荫绿水之间，还养有鹿、孔雀、鹳鸟、鸳鸯等，使园林增添一种山林之魅力。环绕数百步的游廊曲榭，沿壁遍嵌碑帖手书石刻。室内陈设则采用岭南传统装修与西方装修相结合的风格手法。此园成为潘氏结交显贵名士的场所，甚至成为官府涉外接待的场所，又是潘仕成刊刻《海山仙馆丛书》的场所。

1873年（同治十二年），潘仕成获罪破产，园被瓜分，终于废没。黄遵宪约在同治十二年（1873）间作《游潘园感赋》诗，有“海水已干田亦卖”之句。（转引自钱仲联笺注的黄遵宪《人境庐诗草》卷一）海山仙馆石刻中的《藏真》碑帖石刻近百方，现在越秀山广州美术馆碑廊陈列。另有《尺素遗芬》刻石59方，收有名流显达林则徐、吴荣光、邓廷祯、骆秉章等111人与潘氏来往手书，这批手书不仅是珍贵手迹、书法大观，更是研究作者生平及鸦片战争时期广东海防、财政、外贸的第一手资料。民国时期由陈璧君收购后嵌于湖海亭壁上，湖海亭旧址（在今中共广州市委大院内）于20世纪90年代拆除改建，《尺素遗芬》石刻移交文化部门，也在越秀山美术馆碑廊陈列。