黄宾虹纪念馆位于西湖栖霞岭31号，是著名画家黄宾虹的旧居。院落原为旅法教授楼定濂投资设计建造。1948年秋，黄宾虹先生应杭州国立艺专之聘担任教授，从北平来到杭州。他初住城西岳庙旁栖霞岭19号艺专宿舍。1952年春，迁住栖霞岭32号（原32号，现为31号）租住小楼第一层，自称“西湖老画工”，直到1955年去世。这最后的7年，是黄宾虹的创作旺盛期，他由此登上了自己的艺术顶峰。八十九岁那年秋天，黄宾虹双目患白内障，
几近失明。须借助放大镜才能看书作画，但他反而激情迸发，创作了许多令人惊奇的佳作。1955年3月病逝后，家属遵遗嘱将其生前作品及收藏的历代字画书籍、瓷铜玉器等文物共一万余件全部捐献给国家。1959年9月，旧居被辟为画家黄宾虹先生纪念室。
1955年3月25日，黄先生因患癌症病逝于杭州。
1956年3月，浙江省人民委员会决定，以杭州栖霞岭32号先生故居为“黄宾虹先生纪念室”。
1959年7月，省文化局以迎接国庆十周年并需接待中外参观者的名义，向杭州市人民委员会发函，请将故居拨给省局。
纪念室于1959年9月8日就绪，正式对外开放。纪念室分三块：故居、工作室陈列、作品陈列室。
开放时间为每周六、日。
黄先生的作品陈列有山水、花卉与书法，以山水为主，并分早、中、晚三期。
1963年，纪念室的陈列展览作了调整充实。
同年4月22日，省文化局给省人民委员会打报告，为恢复黄先生生前生活及艺术活动的陈列，拟同意省博物馆的有关意见，将纪念室改称“故居”。
1963年5月17日，省人委批复同意将画家黄宾虹纪念室改称故居，并同意在省博物馆内专辟黄宾虹作品陈列室。 1964年，“画家黄宾虹纪念室”改为“画家黄宾虹故居”，恢复原状陈列。
黄宾虹纪念室是在“文革”开始后关闭的，室内所有展品也被拆除。
1968年，房屋交还杭州市西湖区房管所，成为居民住房。至纪念室复建前，栖霞岭3l号（原标32号）住有连黄先生女儿在内共6家。其中一部分属私房，一部分属房管部门，一部分为住户所在单位帮助搭建，还有住户私自搭建的。
十一届三中全会后，美术院校、团体和社会人士要求恢复纪念室的呼声强烈。浙江省、杭州市及西湖区的人大代表、政协委员如赵延年、宋宗元、吴山明、潘公凯等都有提案。海外美术界人士也反映强烈。省博物馆也多次向上级部门打要求恢复黄宾虹纪念室的报告，省文化厅、省文物局对此也很重视，
1984年，专文要求杭州市协助解决。
1984年11月28日，市委书记厉德馨明确批示：“黄宾虹纪念室应该恢复、建设好，居民应迁出，属哪家的由哪家解决。请市府办公室办理此事。”
1985年1月，为纪念黄宾虹诞辰120周年，由浙江省委宣传部、省文化厅、省文物局、省文联、浙江美术学院、省美协、西泠印社等机关单位组成了纪念活动筹委会。
1985年11月27日上午，由浙江省、杭州市领导和美术界著名人士参加的150余人在杭州饭店集会，隆重纪念黄宾虹诞辰120周年。大会上，省委宣传部长罗东对黄先生的艺术和品格作了高度评价，市委书记厉德馨还专门讲了恢复黄宾虹纪念室的工作，明确表示半年动迁、半年复建，争取明年开放。下午，省博物馆举办的纪念黄宾虹诞辰120周年展览开幕，展出黄宾虹先生作品131件以及生平照片。
1985年11月28日上午，浙江美院国画系还举办了黄宾虹研究学术讨论会，下午，40多位画家又进行了笔会。此次时间紧凑而又隆重热烈的纪念活动，对恢复黄宾虹纪念室工作起了很大的推动作用。
杭州市府办公室为住户搬迁问题专门发了1985年60号文件，并召开住户所在单位会议，安排住户搬迁步骤。但因住户的不同要求和房产政策等问题，工作进展缓慢。
1987年5月，全国政协委员、安徽省文联主席、著名画家赖少其专程来杭，代表部分全国政协委员向浙江省委、省政府提交了希望尽快恢复黄宾虹故居纪念室的书面建议。省长薛驹对此非常重视，专门到赖少其同志下榻处看望。并谈了他的意见：省里拨款，市里安排搬迁户的住房。
1987年7月27日市房管局给文化厅《关于同意补办土地过户使用手续的批复》。在杭州市房管局、市规划局、园文局、供电局、自来水公司及西湖区市容办、北山街道栖霞岭居民区、岳坟派出所等多家单位的配合下终于在同年11月中旬，解决了动迁的遗留问题，为纪念室的恢复和建设扫除了障碍。
1988年1月下旬，由沙孟海先生题额的“黄宾虹纪念室”复建工程竣工，并于3月25日恢复对外开放。恢复后的纪念室包括：陈列室、资料室、接待室、纪念品小卖部等。
