Балласт

Муж старше брата на 10 лет. Мать их умерла несколько лет назад. Муж и без того всю жизнь считался ответственным за брата, потому что отец их бросил почти сразу как тот родился. Муж его выучил платно. Устроил на работу. Мы его женили и т.д.
Живем недалеко (покупали квартиру ближе к свекрови, та болела долго перед кончиной). Теперь в той квартире живет брат с семьёй. У него есть ключи от нашей квартиры, он может в любое время придти и например поесть, пока нас нет дома. Без спроса.
Когда у них не получалось забеременеть, муж оплатил им ЭКО. Неудачная была попытка. Но гормоны помогли видимо и они родили сами. Ребенок тяжелый по неврологии, прорва денег - врачи, массажи, препараты, обследования в столице. Муж оплачивает это все. Ребенка без всякого вопроса приводят к нам каждые выходные, иногда по вечерам - типа они молодые, им надо отдыхать. 
У меня голова кругом. Но с мужем говорить бесполезно - упёрся, что матери обещал нести ответственность за брата. Но просто тянуть все это финансово и морально уже сколько можно??? В остальном у нас нормальная семья, я люблю мужа, но я безропотно несколько лет смотрела за свекровью. Теперь вот нянчу племянника. Я устала, но выход - только развод? Что делать?