Это не мое дело?

Поспорили сейчас с коллегой... Суть в следующем: у нас с мужем ипотека, детей пока нет, но планируем в ближайшем будущем. Ипотеку брали совместно. Муж также достраивает дом в ближайшем пригороде, на следующий год планирует закончить. Строить начал еще до нашего знакомства, конечно на свои деньги, я к нему изначально отношения не имела, но т.к. стройка продолжается, то сейчас на нее уже уходят и мои деньги тоже, пусть немного, потому что основные материалы были закуплены давно, но все же.
И вот, муж обмолвился, что после завершения стройки жить в этом доме будет его младший брат , 24 года, перманентно неработающий и вообще бездельник и лоботряс по жизни. По той причине, что у родителей он "не чувствует себя хозяином", а в отдельном двухэтажном доме, значит, почувствует! Он немного помогал мужу со стройкой, это правда, но не настолько, чтобы этот дом ему презентовать! До дарственной , я надеюсь, дело не дойдет, но сам факт - мы продолжаем тянуть ипотеку еще несколько лет, а этот.... будет на готовом прохлаждаться, хотя дом можно бы продать и ипотеку погасить , еще и деньги бы остались, чтобы открыть какое нибудь небольшое свое дело.
Я понимаю, что вроде бы муж вправе сам распоряжаться "добрачным" имуществом, но все таки это несправедливо по моему -почему его семья ( я и будущий ребенок)  должна ужиматься с ипотекой, а кто то прохлаждаться? Мнение свое мужу озвучила, он отмалчивается, да и дом то еще недостроен, конечно... 
Но коллега говорит, что я и вообще в этом вопросе права голоса не имею, т.к. это его собственность, его брат, а брату надо помогать и т.д.. 
Из-за этого пошел сыр бор. Что за помощь такая 24 летнему лбу , да еще в ущерб семье? Я чего то не понимаю? Это не мое дело?