首先要确认你家围墙是不是建外自家宅基地上，如果是自家宅基地范围内，没有超越合法建筑范围内，政府是不允许拆除村民的合法建筑。
如果是因政府统一规划，该围墙需要拆除，需要和你家协商好，双方达成补偿协议，才能进行拆除。否则强行拆除就是违法。
注：强拆的法律前提条件：
按<城市房屋拆迁管理条例>规定，只有在被拆迁人或者房屋承租人在裁决规定的搬迁期限内未搬迁的，而且该裁决已经生效，房屋所在地的市、县人民政府已作出行政强制拆迁决定书的前提之下，才真正适用于城市房屋行政强制拆迁。
1、拆迁当事人向房屋拆迁管理部门申请裁决。按照条例和规程的规定，拆迁人与被拆迁人就搬迁期限、补偿方式、补偿标准以及搬迁过渡方式、过渡期限等原因达不成协议的，向房屋拆迁管理部门申请请求裁决，这也是申请裁决的前提。
行政强制拆迁的依据是生效的裁决，所以适用行政强制手段拆迁的前提条件是拆迁当事人向房屋拆迁管理部门提出了裁决的申请，且有了生效的裁决，行政强制拆迁才可能发生。其次，强制拆迁前必须先调解。房屋拆迁管理部门审查决定受理以后，应进行调解。
调解是房屋拆迁管理部门作出裁决前的必经程序，房屋拆迁管理部门在调解中必须充分听取当事人的意见，对当事人提出的合理要求应当采纳。拆迁当事人拒绝调解的，房屋拆迁管理部门应依法作出裁决。
2、再次，强制拆迁前召开两次听证会。
其一是未达成拆迁补偿安置协议户数较多或比例较高的，房屋拆迁管理部门在受理裁决申请前，应当进行听证。
其二是房屋拆迁管理部门申请行政强制拆迁前，应当邀请有关管理部门、拆迁当事人代表以及具有社会公信力的代表等，对行政强制拆迁的依据、程序、补偿安置标准的测算依据等内容，进行听证。房屋拆迁管理部门申请行政强制拆迁，还必须经领导集体讨论决定后，方可向政府提出行政强制拆迁申请。
扩展资料
相关法律条例（《城市房屋拆迁管理条例》）：
第十七条：
被拆迁人或者房屋承租人在裁决规定的搬迁期限内未搬迁的，由房屋所在地的市、县人民政府责成有关部门强制拆迁，或者由房屋拆迁管理部门依法申请人民法院强制拆迁。
实施强制拆迁前，拆迁人应当就被拆除房屋的有关事项，向公证机关办理证据保全。
第十八条：拆迁中涉及军事设施、教堂、寺庙、文物古迹以及外国驻华使（领）馆房屋的，依照有关法律、法规的规定办理。
第十九条：尚未完成拆迁补偿安置的建设项目转让的，应当经房屋拆迁管理部门同意，原拆迁补偿安置协议中有关权利、义务随之转移给受让人。项目转让人和受让人应当书面通知被拆迁人，并自转让合同签订之日起30日内予以公告。
参考资料来源：百度百科-城市房屋拆迁管理条例
如果是因政府统一规划，该围墙需要拆除，需要和你家协商好，双方达成补偿协议，才能进行拆除。否则强行拆除就是违法。本回答被提问者采纳