Чувствую, что все наперекосяк, но не знаю, как поступать

Живу с мужчиной ок.6 лет, ему 42, я старше на 5 лет, есть дети у обоих от первых браков, но живут отдельно. Зато к нам приехала жить его одинокая мама и сделала все, чтобы я ушла. Уходить было некуда и я живу пока у родителей. Мы с ним также встречаемся каждый день, но живем раздельно. Вроде бы он меня и любит, но съезжаться снова не хочет, говорит, что будут снова скандалы. А я просто с ума схожу без него, хочу быть все время рядом, ужасно боюсь, что у него кто-нибудь появится. И что сделать, чтобы убедить его жить снова вместе, я не знаю. Верю ему, что он скучает и любит, и в тоже время - как так может быть - любит, но жить вместе из-за мамы не хочет??? ЧТо делать, нервы на пределе