Стоит ли делать больно близким ради любви

У меня такая история. Прожили с мужем 4 года, любили друг друга, вроде все хорошо было. Я всегда была за верность в браке, считала что я мужу не изменю никогда. Еще не будучи замужем, считала, что роман с женатым мужчиной не имеет смысла и для меня это табу. Вобщем имела определенные принципы.
И вот ирония жизни. Влюбился в меня женатый мужчина, при чем сказал, что любит уже втайне не первый год. Я в соответствии со своими принципами сказала, что между нами ничего быть не может. Но с этого времени стала невольно обращать на него внимание. Заметила, что он интересный человек. Раньше я была с ним знакома, но он мне не нравился, даже как личность, просто был неприятен. И вот так постепенно, сама не заметила, как он мне сначала понравился, потом все больше, и я влюбилась в него. Когда осознала это, возникло чувство вины по отношению к мужу, к семье этого человека. Хотя мы еще не были любовниками. Предложила ему прекратить всякое общение, он пошел мне навстречу. Но продержались мы недолго, тянуло друг к другу сильно. В конце концов мы стали близки, тайно встречались, взаимное чувство росло. Мы оказались безумно интересны друг для друга в общении, в мировоззрении, в сексе.
До самого последнего времени он мне всегда говорил, что семью не бросит, очень сильно любит дочку. Я сначала тоже была против разрушения семей. Но через какое-то время становилось все тяжелее жить друг без друга, все больше мы отдалялись от наших супругов и все ближе становились друг другу. Конечно такие отношения приносили не только радость, было тяжело. Несколько раз мы пытались их прекратить, но все возобновлялось снова. И вот совсем недавно он принял решение уйти из семьи. Сейчас у него дома раздрай. Всем тяжело, жене плохо, дочка чувствует, что папа с мамой ссорятся, ему плохо, мне плохо, я с ужасом думаю о разговоре с мужем, какой я ему удар нанесу.
Так вот с одной стороны горе стольких людей, в числе которых маленький ребенок, пожилые нездоровые родители, которые естественно переживают за детей. А с другой - что же на всю жизнь закрыть себе путь к счастью? С одной стороны очень хотим соединиться, жить вместе, любить друг друга без утайки. С другой стороны как тяжело рушить семьи. Ну и конечно присутствует мысль, а не зря ли все это, ведь неизвестно уживемся ли друг с другом, сможем ли семью построить.
Буду очень благодарна за любые мнения.