Бывшая жена управляет моим мужчиной

Я около года в отношениях с мужчиной, который более 15 лет живет один. Он значительно меня старше, очень хотел удержать. Выполнял все мои пожелания, чуть только я их проговаривала.
Осень и зиму мы провели в согласии. Я общалась с его младшей дочерью, которая сейчас в разводе и воспитывает 2-х дочек. Мне очень нравилось его ко мне отношение, почти обожание. Мы живем в соседних городах, он забирает меня в пятницу вечером и привозит в воскресенье . Это мне тоже нравилось...мы соскучивались за неделю разлуки и отношения были очень свежими...
А потом наступила весна,  а он живет в своем доме. Его бывшая жена там занимается огородом. Она , поддерживаемая детьми, поставила ему условие, что меня в его доме быть не должно, пока у них огородная пора. "Встречайтесь зимой" - такие были сказаны слова. Бывшая жена живет одна в квартире, этот дом он построил сам для себя. И он принял эти условия. Думал, что будем встречаться в других местах. ( у нас на даче, на пикнике и т.д.)
На дачу он еженедельно приезжал, склонял меня к близости, но я ему мягко отказывала, ссылаясь на то что тут нет условий, что кто-то из родственников рядом и т.д.. надеялась, что он поймет и примет какие-то меры. Тогда он пригласил меня на природу, там у нас состоялся разговор, где он мне сказал, как он представляет нашу дальнейшую жизнь. Что закончится сезон огородов и мы опять будем с ним встречаться у него...
Нужно еще представлять себе, что было в этом доме , когда я туда пришла. Сколько усилий стоило отмыть его и привести в божеский вид... Одним словом, мне предложена роль сезонной подружки. Которую, порой, выставляют из дома, а когда обстоятельства меняются, то опять приводят в дом.
Я отказалась от такого счастья. И сказала, что осенью я к нему не вернусь. Что это возможно только сейчас. В течении, максимум, месяца. Еще я ему сказала. что он несвободный человек, что у него отношения с бывшей не закончены, она по прежнему им управляет, так пусть он с ней и живет дальше. На что он ответил, что не хочет с ней жить и не будет.
Как такое может быть, что мужчина, не может отстоять свои отношения? Как мне быть дальше?