我有三四个发小，大家都农村家庭，父母都是做工的，我们三四个发小年龄相仿，差不多现在30岁左右，三四个里面就我目前最好，国企事业编制，还在市区买了房，其他两个目前都在工厂上班，十几个小时几千块的那种，特别有一个，特别差，因为父母好吃懒做，条件属于最差的，家里还欠债。就是这个人我感觉表面不说一直内心很嫉妒我，不希望我好，在别人说我的时候，旁敲侧击的火上浇油，我这个人大大咧咧的，属于直爽性格，也不知道我前几年哪里得罪他了干嘛，背地里据我了解有挑拨离间的情况存在，而且在饭局上经常以某些话题，隐约的羞辱我的意思，但是他讲话很巧妙，就是那种让你难受，你又不能明显和他发火，拉下脸的那种。就是旁人都看得出来不想我好他，关键我平时都在市区上班，回去的不多，村里面没他熟，他时常在村里面混迹，现在班也不上了，靠赌博为生，有时候过年过节，或者难免村里几个聚在一起吃饭的时候，他有那种恶意揭你的短搞的你难受那种情况，但是因为同桌吃饭的几个都和他比较熟，都只是看热闹，我另一个发小因为自己也是工厂上班的，就我感觉也有点嫉妒我的存在，所以说他也是假装没看见，甚至也会一起来说你几句，比如说故意说你小气，或者说故意揭你伤疤让你难堪。我的性格很直爽，在外面上班兄弟也很多，单位里人员都很好，我现在就是不想和他们过多的接触，但是一个村里的又难免会碰到，就在前几天聚在一起吃饭，又有那种羞辱我的感觉，我到现在心里都还气，但是我又不能当场反击，反击的话同桌人可能都只会帮他说话，请问我该怎么办，直接和他们一伙断了联系还是怎么的。