Напряженное общение с родственником

Добрый вечер! Мне нужен совет..
Ситуация такая: есть брат не родной, живет в другом городе, с которым видимся не чаще раза в год, а то и реже. Этим летом позвонил, попросил номер телефона (мы особо не общались никогда, мама в основном контактировала с днем рождения поздравляла и т.д.)
Так вот летом пару раз созванивались, после чего начал очень часто мне звонить. Брат нормальный парень, но как бы это выразится "из деревни". Вообщем я не могу с ним общаться, меня просто бесит, когда он мне звонит и всякую ерунду (реально ерунду, про каких то "девочек" с которыми он знакомится и что там и как, про бывших жен, подруг их любовников..)  говорит по 1-2 часа (причем часто просто сочиняет, эту у них там семейное)
Как тактично отказаться от такого общения, чтоб не обидеть родственников? 
Уже прилетала претензия что в соц. сетях игнорю.. Сейчас ответила что занята, на что мне ответил "ок, завтра позвоню", а я не хочу...
Вот бывает когда человек прям вообще никак в общении не подходит тебе и все тут, мне стремно из-за этого, но время терять и психовать из-за такого общения не хочу(