Он и ребенок

Почему так получается... Я с МЧ живем гражданским браком, уже более 4лет. Когда мы познакомились он не сразу сказал что у него был ребенок годовалый внебрачный.. и все время утверждал что это не от него(т ему на тот момент было22 года) а сейчас ему 27 и он последнее время говорит что типо из за меня он не общается с ребенком. ( Он когда нужно отвезти ребенка к бабушке( к его маме), берет свою бывшею и ребенка и едут к бабушке. дорога занимает 40минут...т.е. на все про все у него уходит где то 2часа. И он при этом говорит, что я начинаю при это по 5 раз названивать....(хотя мож один раз) . И у меня такой вопрос как с этим быть и будет что то у нас в дальнейшем????