Как это понять? Я помеха или ему нужно привыкнуть?

вот какая ситуация, сошлась с молодым человеком, познакомились с ним уже давно! У него до меня была семья и у меня тоже была семья! Познакомились мы когда уже оба были разведены! У меня сынок есть, у него доча от первого брака! Мы безумно любим друг друга, он отлично относится к сынуле, я к его доче! Но есть одно но... Почему то когда он выпьет, он наченает плакать на взрыд что ему дочь жалко, и начинает говорить что ему очень тяжело, хотя я не прошу его с ней не общаться! Я начинаю думать что я для них помеха! Как мне себя вести? Как ему помочь... Расставаться не хочу, но его слова по пьяне так в душу врезаются...