Прошу совета: как не испортить отношения с любовником?

Впервые обращаюсь за советом к такой большой аудитории. Я после развода вернулась к родителям в их двушку, сыну было только полгода. Вышла рано с декрета, на работу за это время пришел новый сотрудник, намного меня старше и женатый, сразу начал ко мне клеиться. Для меня женатый был табу, поэтому его я отставала как могла, думала еще молодая могу выйти нормально замуж выйти, но отношения ни с кем не складывались, как будто он на меня порчу навел, красивая, умная, хозяйственная, но дальше 2-3х уличных свиданий, продолжения не получалось. В итоге, природа взяла свое, и я сдалась ему. В интиме оказалась полная гармония, из-за этого он вообще не хочет, чтобы замуж вышла. Встречаемся уже 3 года на моей даче втихоря ото всех, но его жена узнала, были скандалы, но она смирилась, т.к. у них двое детей, хоть и взрослых, но проблема не в этом. Мой сын пошел в первый класс. И как то не очень мне и подрастающему сыну спать в одной комнате, у него должна быть своя. И на семейном совете было решено продать дачу. Продавалась она успешно до нового года. Я взяла ипотеку и купила тоже двухкомнатную квартиру, по скромному обставила, и теперь у меня и у сына по комнате. Думала вроде все нормально, но как говорится, проблема возникла от туда, откуда ее не ждешь.  3-4 месяца между продажей и покупкой с любовников встречались в гостинице на другом конце города. Ему это не очень нравилось, а мне наоборот, сделали дело и разбежались, а за лишние часы надо платить,  на даче мы долго засиживались, а я торопитесь, дома ждали сын и дела. Так вот, теперь любовник хочет ходить ко мне в квартиру, а я не хочу, чтобы видел сын, а то начнет привыкать и его папой называть, тот не собирается разводиться и на мне жениться, да и пересуды с соседями тоже не нужны, потому что собираюсь жить здесь долго и все таки планирую нормально замуж выйти. Один раз он ночевал у меня, сын был у бабушки, ему понравилось, мне нет, пока под утро его рано выгнала, пока никто не видел. Теперь прошу совета: как деликатно не допустить его ПМЖ у меня? Просто он как-то намекнул, что разболтает на работе и в округе, если я его впускать не буду. С работы сразу уволят, а мне ипотеку платить. Деньгами он иногда помогает.