Как все объяснить внукам?

Ситуация сложилась мрак какая сложная. У сына второй брак. От первого сын, от второго дочки. Мы с мужем живем загородом. Девочки очень часто бывают у нас с мужем в доме, приезжают и вместе с невесткой, и просто одних оставляют. Если бывшая жена сына хочет привезти внука на выходные, то я не против, всегда пожалуйста, но она обычно не просит. Последний раз он у нас был около года назад, а так чаще я к ним заезжаю. А тут у нее клиенты пошли и она просит брать его в выходные почаще, что бы можно подработать было. Ну я с радостью. Съездили с мужем, забрали, привезли в дом и тут началось что-то невообразимое. Он все время цепляет девочек, то игрушки их отнимет, хотя ему уже 10, то крикнет на них, а в воскресенье сказал им, что лучше бы их не было. Я все понимаю, что у него есть причины их не любить, но я не психолог, как себя вести в подобной ситуации? Что вообще говорить? Как реагировать. Муж сразу кричать начал, но он в девочках души не чает, а я как-то растерялась сначала. Потом привела его в сторону, мягко сказала, что так говорить плохо и если не хочешь, то просто не играй и не общайся с ними. Не знаю правильно это или нет.
А теперь вот бывшая сына снова просит взять его на выходные. А в выходные день рождения мужа, приедет и сын, и невестка, и девочки, понятное дело. И отказать мне неудобно, она надеется на меня, тем более день рождения деда, а с другой стороны как вообще решать такие вопросы, как детям объяснять?
Как вообще в таких ситуациях лучше поступать, не во всех же семьях дети от разных браков ладят?