阮蔡生世居淮安新城北辰坊，另在城内勺湖建有草堂别墅，世代科仕，崇尚治学，热心乡里教育。
阮葵生曾祖父阮晋当时与同乡著名学者阎若璩齐名，撰有《自吟亭诗稿》，两人一起被大吏推荐参加博学鸿辞科考试；祖父阮应韶是监生；伯祖父阮应商是进士，任户部郎中，以直言敢谏多次受到康熙帝的称赞；父亲阮学浩和叔父阮学浚都是进士，而且同在翰林院任编修，同被派至地方担任大权在握的乡试主考官，人称“淮南二阮”；弟弟阮芝生二十四岁中进士，任内阁中书、县令等职，善诗文，与阮葵生一起被当时人誉为“眉山兄弟”。阮氏祠堂的门上写着的对联“一门三进士，七世两乡贤”，反映的就是阮氏处于鼎盛时期的状况。
阮葵生的父亲阮学浩（裴园）系清代雍正年间进士，历官翰林院检讨，提督湖南学政，典陕西、山西乡试，铨京都会试同考官，阶儒林郎加二级，赠中宪大夫通政使司参议。他一生治学严谨，博识多才，曾刊《教学遗规四礼翼注》及《学约》，以训士子。乾隆十六年（1751年），四十九岁的阮学浩，陈情辞官，回乡奉母，在他著名的书屋“勺湖草堂”读书讲学，“十余载遂不出山，日取淮海士，奖掖而成之者数百余人”。阮氏房舍建于勺湖南岸，而草堂建于勺湖之中，后改为书院。雍乾年间，淮安文风兴盛，当时丽正书院（旧址即今淮师），和魁文书院（旧址即今淮中），经常延请裴园公讲授经学。阮学浩见府、县两学维修不善，便发起创立公益团体“洒扫会”，邀约两庠人士集资修葺，而他总是资助银两最多。此外，他还将家藏的书籍百余种，赠送绐丽正书院，供诸生攻读。
阮学浩生有二子，长子阮葵生（1727－1789），字宝诚，又字萍庐、乐君，号吾山，晚号安甫，累官刑部右侍郎，以其《茶余客话》著称于世；次子阮芝生，因叔父阮学浚无嗣，“出为学浚后”，乾隆进士官德清知县，由于为政清廉，诰授奉政大夫直隶永定河北岸同知。
父亲阮学浩在翰林院任著作官凡二十年，著述颇丰，有《娱萱亭稿》、《职思亭诗文集》传世，叔父阮学浚著有《蔃村诗文集》，弟弟阮芝生著有《咏素斋文集》、《听潮集》等。出生在这样极富吟诗弄文风气的家庭中，阮葵自幼受到熏陶，养成写诗的癖好，“二十年间两千篇，丛编蠹简恣涂窜”（《邱丈桐园为予订〈十载删余集〉赋长句寄怀》），自癸酉（1753年）结首部诗歌集《十载删余集》（上、下）起，后来陆续编订《吴舠集》、《彭城集》、《越角吴根集》（上、下）、《红蕉馆集》、《勺湖集》、《晚移集》、《七峰集》（一、二、三）、《西山集》、《瓶花书屋集》、《春淀集》、《春草轩集》（一、二、三）、《听鸿集》（一、二）、《得请集》、《属车集》、《拙庆斋集》（一、二、三、四）等诗集。《拙庆斋集》编订于1789年，即他去世的那一年，可见诗歌创作伴随他一生。
阮葵生无论在成名之前，还是为官以后，都热心乡里的教育事业，一直赞助父亲亲手创立的“洒扫会”。为了使集资能够发挥“一劳永逸”之效，他建议筹款存典生息，还倡导购置田产，交庄民屯粮起租，以备办学之资。故阮氏庄园——鹅钱庄（在今东门外和尚庄东南），素有“一千庄”之称。阮葵生也生有二子，长子阮钟琦，候补布政司理问，但终身未仕，一直在家秉承先祖遗志，监督“洒扫会”同人恪守《会约》，严禁从中贪污作弊。次子阮钟景，顺天府北榜举人，岁在而立就早逝了。
从晚清开始，阮氏家道中落，一蹶不振。虽然遗稿和藏书较广，但逐渐散佚。所幸阮葵生的六代孙阮再庵老人，现年七十有五，尚能记忆追溯先祖遗事，尤其是乾隆四十七年由阮葵生、阮芝生重修沟《山阳阮氏家谱》（勺湖草堂收藏刻版，分上、中、下三卷），竟失而复得，尚存淮安图书馆。这对研究雍乾时期的淮安文化历史、地方掌故以及阮氏家世等，均有一定的参考价值。
从《山阳阮氏家谱》得知，阮氏原籍是江西临江府清江县枣儿村，从武德公一代起，于元末定居淮安。山东潍坊尚有阮氏分支。另据《续纂山阳县志·名人墓》记载，阮学浩、阮葵生父子殁后，均葬于七里塘（今城东乡赵徐村西南）阮氏墓地。著名的文学家天台齐召南，曾为阮葵主撰有《墓志铭》，全文载入《山阳县志》。
