Его дети...Что делать и как жить?

Прошу вашего совета в моей сложившейся ситуации, которая чем дальше, тем хуже. Хуже для меня. Я замужем за человеком, который старше меня за 16 лет. За его бурную жизнь он был официально женат единожды, но нафестивалил по жизни так, что у него одна дочь от первого брака и двое детей вне брака от разных женщин. Дети, соответственно, взрослые и даже есть маленькие внуки. Все живут в разных городах. Что-то я знала до своего замужества с ним, что-то узналось внезапно после, но судить его и грысть, думаю не за что, т.к. во-первых, это было до меня, а во-вторых, он живет со мной, а не в теми женщинами которые были в его жизни в молодости. Суть: как только появляется возможность (это происходит и в праздники) мой муж уезжает увидеться со своими детьми и внуками. Причем, в том что я остаюсь одна с нашими детьми его не смущает. Ну ты же ехать не хочешь со мной, всегда говорит он мне. Допускаю, что я не права, но я не могу слушать как ему ежедневно названивают его дети и внуки, зовут к себе и рассказывают о своих делах. Причем, со слов мужа, одни дети и внуки не знают о существовании других. Кстати, женщины, родившие ему детей, тоже ему звонят с частой периодичностью, а он не скрывая это от меня тут же объясняет мне что это его родственники и я веду себя как эгоистка. Вот и сейчас, гостит у дочери за семь часовых поясов, но разговаривать со мной по телефону не стал, легко пояснив, что он играет с внуком и свяжется со мной позже.
У меня такое ощущение, что я живу не своей жизнью. Все попытки поговорить с мужем и понять друг друга сводятся к тому, что муж обвиняет меня в эгоизме и глупости. Я даже как-то ему сказала: ну вот как бы реагировал ты, если бы у меня была куча детей от разных мужчин, но я бы к ним ездила и жила совместными заботами о детях? На что он мне ответил, что это разные вещи и сравнивать его и меня нельзя. Как-то я спросила его знают ли его дети/внуки и женщины, что у него семья? Он не ответил и сказал, что это совершенно не причем... Самое для меня страшное, что наши дети растут и мне крайне сложно объяснить нашим сыну и дочери, например, почему мы на майские праздники едем на шашлыки без папы. Похоже у меня 2 варианта: либо так продолжать жить дальше (только не понятно зачем?), либо заткнуть свою любовь в свои вторые девяносто, ставить точку и расставаться. Я не хочу жить общей семьей! Мне нужна своя! Что делать?