我家想建围墙，南北长10米，跟隔壁邻居家没有隔开，然后就依靠南北向的围墙做后背，在院子你建个小平房养蚕用，实际上就是建围墙，房子在围墙里侧，刚开始跟邻居说过了，打过招呼，可是等我6－7千块钱的材料买回来开始施工时，他却提出来说不可以建，哪怕是单独建围墙也不行，就算是小板凳高都不允许建，我现在很着急，几千块钱的材料没处去不说，还有我开好的地基需要恢复，损失很大，请教懂行的教我，像我这种情况在法律上是否允许我建围墙，邻居的这种做法是否违法，我该怎么办？是我家的西隔壁的邻居。