Я любовница

Очень длинная история, но попробую выговориться, может легче станет? 
Мне 45. Дважды была замужем (с обоими прожила по 10 лет), трое детей (27, 25 и 8 лет). Старшие дети от меня финансово не зависимы, у них все хорошо, свои семьи, дети, работа, машины, квартиры и т.д.
Когда малышке было 4 года, разошлась со вторым мужем и и начала жизнь с чистого листа. Хорошая работа, новый дом, (который построила сама уже после развода), машина, все блага (даже пожаловаться не на что). Одним словом все хорошо, самодостаточная, уверенная в себе женщина.  Одна проблема за 4 года (год в браке и 3 после развода) ни одного мужчины.  Почему то со мной даже боялись знакомиться, а если кто и пытался знакомиться все получали "от ворот-поворот".  На работе за мной начал ухаживать коллега, сначала мы просто на всех совещаниях, заседаниях   сидели вместе, мелкие знаки внимания и ни чего более. Ухаживания длились 2 года. Он ушел на повышение, я уволилась, кажется пути разошлись. Уж не знаю как так получилось что мы стали близки, но  факт остается фактом. Месяца через два после нашей близости я узнаю что он уже  около 10 лет живет гражданским браком с женщиной, из них последние 2 года его  жена живет и работает в другом городе (ухаживает за его престарелым отцом). Теперь о нас. Как то очень стремительно он вошел в мою семью (поперезнакомился с детьми, родственниками, друзьями). У меня дома не только его зубная щетка и тапочки, но и дежурный  комплект одежды, костюм, обувь и т. д. Помимо того, что он в любой момент может приехать днем,  два-три раза в неделю остается ночевать.   Очень медленно и аккуратно вводит меня в круг своих друзей.  На людях, где есть хоть кто нибудь незнакомый или из подчиненных мы делаем вид что между нами ни чего нет  (несмотря на то, что с каждым разом делать вид все сложнее и сложнее). 
Вроде бы меня должно все устраивать, любви, внимания мне достаточно, секс обалденный. Наши отношения можно назвать гостевой брак, если бы ни одно но... Каждодневные звонки его жены (что бы мне не говорили, для меня она его жена), Каждый раз он ей придумывает что то новое, просит своих друзей жене сказать что они были вместе и  т. д.  
Что мне делать?  С одной стороны меня все устраивает, с другой всю переворачивает. Периодически во мне борются два Я и какой из них победит не знаю.