香港首座西式永久建筑和首座监狱——域多利监狱，起始于1841年8月9日，尽管当时香港尚未正式成为英国殖民地，但因英军已占领香港岛并建设维多利亚城，监狱的建设是出于实际需求，反映出她在香港历史中的不可或缺的地位。
李兆安曾提及，监狱早期主要用于囚禁海盗和土匪，不过地下囚室鲜少启用，曾有传言称，英国政府在此时期可能关押过一些反清革命分子，甚至包括孙中山先生，尽管这仅仅是历史上的推测。
在二战期间，1941年香港保卫战中，域多利监狱遭到严重损毁，战后沦为囚禁同盟国政要和将领的场所。1945年香港回归后，监狱经过修复，转型为中度设防的院所。随着香港成为接收难民的中心，域多利监狱成为了越南船民的转送与遣返中心，并进一步发展为难民甄别中心，收容着等待甄别的男女船民。
在1937年赤柱监狱建成之前，域多利监狱曾是香港早期司法体系的核心。1995年9月8日，域多利监狱被列为法定古迹，与相邻的旧中区警署和前中央裁判司署一起，构成具有深远历史意义的中区警署建筑群。
尽管域多利监狱于2006年3月12日正式退役，但香港政府至今还未对这个具有重要历史价值的地标制定全面的保护和利用计划，其历史地位仍在等待更深入的挖掘和传承。
域多利监狱（Victoria Prison, Victoria Gaol）是香港殖民地时代的第一所监狱，位于香港岛中环荷李活道东段之首，奥卑利街斜路山腰上，是旧中区警署建筑群之一，为香港法定古迹之一。在2006年结役之前，域多利监狱一直是香港监狱系统的中心枢纽；由于她见证香港开埠、第二次世界大战、香港作为收容越南船民的第一收容港及香港惩教系统的历史发展过程，所以有香港人认为它是值得保留的历史建筑物。