Оказывается, я для него "так, ничего серьезного"

Встречаюсь почти 4 года с женатым человеком. Мне 42, ему 61. У меня дочь от первого брака. Он мне помогает продуктами, по дому что-то отремонтировать, на телефон деньги кладет. Солидный мужчина, хоть и на пенсии но еще работает в госучреждении.
 От жены он меня всячески скрывает все эти годы. Хотя приезжает ко мне часто, 3-4 раза в неделю на час-полтора. Всё нас все эти годы устраивало. Но так получилось, что нас выследила его дочь. Когда мы выходили из его машины у моего подъезда, закатила сцену! Сказала, что он не уважает свою жену, что он вытирает об нее все эти годы ноги, что он предатель, что наплевал на них и т.д. и т.п. Он конечно растерялся, пытался ее успокоить, потом разозлился на нее. Наговорил ей грубостей, ужасных слов, даже сказал, что ноги ей переломает если еще раз увидит в моем районе! 
И еще добавил,что  я (показывая на меня) для него "так, ничего серьезного" и "дочка, я же все равно каждый день возвращаюсь к маме, к тебе, в семью"! Представляете! То есть 4 года я для него оказывается не любовь, не отдушина, не госпожа сердца, а просто "так, ничего серьезного"! Я на него  обиделась,после мы недели две не общались, он переживал,что обидел дочь, они уже полгода не разговаривают друг с другом... 
После паузы снова начал приезжать,я его принимаю... Но осадок остался,все время в голове те его слова. Но мы не  можем не встречаться,то ли привычка,то  ли ... не знаю в общем что и подумать теперь когда поняла свое место в его жизни....И задаюсь вопросом,нужны  ли мне все еще отношения с ним?!