Отношения с бывшим мужем

Мы развелись, но живем вместе и разъехаться нет возможности, да и в общем-то желания, так жить удобно нам обоим. Он знакомится, встречается с женщинами, я ничего против не имею. С его стороны он почему-то считал, что у меня никого быть не может и придя домой как-то днем очень удивился, когда меня ни одну застал, еще и скандал закатил. Ничего такого не делали, просто общались сидели, почему-то я по словам бывшего не имею право никого приводить домой. Почему я так и не поняла - квартира моя, он мне помогает с детьми, да просто дома с ума сойти можно одной.
Вопрос - в чем я не права и как донести до бывшего, что я тоже имею право на личную жизнь без его истерик?