中国古典园林区别于西方园林的一个重要特点就是文人造园，在古代并没有专门的造园师，往往是由文人和画家参与造园，山水画的兴起，促进了中国文人山水园的诞生。中国绘画与造园之间关系密切，这种关系发展形成了以画入园、因画成景的传统，甚至不少园林作品直接以某个画家的画作为造园的蓝本，以至于文人、画家造园蔚然成风。园林画意，包含了两层含义，一是“景色如画”，一是“绘画景色”，“景色如画”是人们对园林景观最直接、最简练的赞美。“绘画景色”，中国文人写意山水园林，是在山水画的基础上发展起来的，它的艺术意境无不打上山水画意境的烙印。
唐岳精于诗文，在设计和建造雁山园之前，唐岳邀请了山水画家农代缙参与设计，农代缙的《雁山园图》很有可能就是当年参与设计的设计图。我们现在从马福祺根据1964年建筑科学研究院的《雁山园图》临摹本和依现状绘制的鸟瞰图，可看到雁山园当年的胜景。《园冶》中有这样的描述：“世之兴造，专主鸠匠，独不闻三分匠、七分主人之谚乎。”这里的“三分匠、七分主人”应该指的是建筑的营造，而对于造园来说则是“第园筑，犹须什九，而用匠什一，何也”，园林巧于“因”“借”，精在“体”“宜”，愈非匠作可为，亦非主人所能自主者。所以说，园主个人文化水平的高低决定了园林的风格和意境，唐岳和农代缙二人志趣相投，使雁山园具有浓郁的文人画意。
中国古典园林与众不同，其中一个原因就在于它是“文人的园林”，是富有书卷气的园林艺术。中国古典园林深受中国传统文化，如诗词、绘画的影响，许多园林的设计、建造都是文人、画家、工匠的直接参与。如唐代田园诗人王维、宋代金石家李格非、宋代诗人苏舜钦、元代大画家倪云林、清代文学家袁枚及李渔均对造园情有独钟，这就使中国园林从一开始就带有着浓厚的人文色彩。清代钱泳在《履园丛话》中说：“造园如作诗文。”陈从周在《中国诗文与中国园林》中说：“中国园林与中国文学，盘根错节，难分难离。”曹雪芹的《红楼梦》，使大观园的形象得以深入人心，唐岳在建雁山园之前曾反复研读，也参照大观园内景物的命名手法为雁山园的景物取名，如涵通楼、澄砚阁、稻香村等。道光二十六年（1846），唐岳游历广州，拟古鹦鹉赋十二篇，故人称“唐鹦鹉”。涵通楼建好后，唐岳在此藏书、会友、写诗、作赋，编成《涵通楼师友文钞》等。