Нужен совет: отец ребенка ищет встречи

Всем здравствуйте.
15 лет назад встречались с парнем, влюбилась, забеременела, сказала ему об этом. А он оказалось, что живёт уже 3 года с женщиной и её ребенком. А наш ему не нужен вообще. Сказал, чтоб делала аборт. На этом мы расстались. Прошло 9 месяцев, я родила дочку. Сказала ему об этом, он пришёл на неё посмотреть, спросил не нужно ли нам что. Я ответила, что у нас всё есть и в помощи мы не нуждаемся. Он опять ушёл. Потом стал приходить, иногда оставался на ночь. Я как дура, мечтала, что он уйдёт от жены и будет с нами. Но этого не случилось. Я его выставила. Через год я вышла на работу, дочку отдала к няне и стала вкалывать. Дом, работа, дом...Прошло ещё пару лет и я познакомилась с моим будущим мужем. С ним у нас ещё родились дети. Живём вроде нормально. Работаем оба, дети растут. Но вот уже около года, снова появился тот мужчина, отец моей дочери старшей. Часто видимся с ним на работе, бывает и домой вместе едем, болтаем о том, о сём. Он стал больше интересоваться дочкой своей, спрашивает как она. Звонит мне , пишет смс-ки. Но ничего такого у нас с ним нет. У него с той женщиной общих детей так и не появилось за эти годы, но живёт он с ней. Частенько говорит, что был идиотом, намекает постоянно, что хотел бы увидеть дочку, но боится.  А я не знаю, как мне быть. Муж мой ничего не знает о наших встречах и переписке. Как ему сказать не знаю. А если сам узнает , боюсь будет скандал. Вот и как быть?