Квартира и личная жизнь

День добрый.
Два года назад развелась с мужем, он собрал свои вещи и ушел на съёмную квартиру, оставив меня с дочерью в двушке.( квартира мужа, он купил её ещё до знакомства со мной). Ладно, разошлись, дочери помогает, квартиру оставил. Но, сейчас у него новая семья, и я имею право на личную жизнь. Встретила мужчину, начали встречаться, пригласила его в гости, так бывший узнал орал как сумасшедший. Мол ещё раз хоть кто нибудь придёт в " его" квартиру из мужиков, выставит меня на улицу.
Вот я не пойму, у него есть новая семья, и я хочу создать свою, раз квартиру оставил, почему я не могу жить там с мужчиной? Не все же могут купить жильё, главное что бы человек хороший был.