Что делать если муж живет на 2 дома?

Его дом от моего в 20 минутах ходьбы. Когда хочет он живет у себя дома, ко мне не приходит. Говорит, что идти далеко) А когда захочет, то приходит и ко мне. Сегодня ночью встал с кровати, оделся и пошел к себе. Я даже не знала, что он ушел. Как вышел за дверь, то позвонил, разбудил меня и сказал-Я домой пошел, дверь закрой. Как так жить? Как мне его отучить бегать к себе домой? Он дома проводит времени больше, чем со мной. (мы официально женаты).