муж обижается . как говорить?

На форуме многие советовали, чтобы встречи мужа с ребенком от первого брака происходили на нейтральной территории. Об этом с мужем сразу был уговор - он встречался с дочерью в двушке свекрови. Но так случилось, свекровь  привела в дом мужчину,  стало тесно и ее сожитель против приходов с ночевкой внучки и сына.
Встал вопрос , где общаться с ребенком. Муж настаивает, чтобы все происходило у меня, где мы живем. Я категорически против, вплоть до расставания. Сказала про это - муж против, но дуется, что не может решить вопрос с местом встреч.
Как с ним поговорить, чтобы дошло, что не надо взваливать на меня дополнительные проблемы?