我男朋友因前妻有外遇，但考虑小孩太小，拖了两年才离的婚。听说是他前妻多次提出离婚，他开始还不同意离。离后还一起看了一场电影，离后一个月就认识了我，刚开始，我发现他们还互相关心，为小孩的事联系也很多。一方面，他也承认过，不可能对她没有一点感情的，还可以和她做朋友。另一方面，他多次强调，他绝不可能和她复婚。我和他其他方面都很合适，就是为这件事吵架，我告诉他，我在意的是他的心里还有别人，这样就不可能对我有一份完整的爱。有一次，我不满意他们联系太多，他就马上当着我的面生气的打电话给他前妻说要少联系，他前妻说没有什么多的联系了，后来他主动发信息给他前妻道歉，请她不要计较，我觉得他很在乎他前妻的感受。现在我们一起生活一年了，吵过很多次。因为他们这种特殊情况，我心里很没安全感，担心他们会旧情复燃，而只要我一提这件事他就会很烦躁，掉头就走，冲到自己的住处去住几天。（平时一直住我这的）。他总是说我太多疑，喜欢猜忌，说他受不了这点才走。我在努力相信他，很少去问了。但我也希望他能努力做到让我相信，我只对他提出了一个要求：以前的事都不说了，只要你们以后有什么联系能告诉我，让我知道就行了。但他不屑于这么做，说是这样太麻烦，没有一点自由，爱他就应该无条件的相信他。我觉得很委屈，他做的，说的都不能让我完全相信他，让我觉得没安全感，也很困惑。第一，我为这份感情付出了很多，他却连一点点“麻烦"都不愿意去做。第二，我不明白，只要我一提他的前妻，往往是知道他们联系了，想问清楚一下才放心，他就会生气，说我多疑，甚至提出要分手。
而我认为他们感情并没有完全破裂，又有小孩在，就总希望知道他们是怎么联系的才会放心。
现在，他又因为这事走了，我觉得很可惜。我该怎么办呢？我是不是做错了，他们之间的联系我有没有权利过问呢？我要求他主动告诉我联系的情况是不是不对呢？
多谢解答！