Как оградить внука от бывшего?

Развелись с мужем в 90-х,когда сыну было 13.Он нас так ненавидел,что аж при ребенке сказал,что сделает так,что б алименты копеечные были и пожелал нам сдохнуть с голоду.У сына шок был.ладно бы неродной ,а так при собственном сыне!
Но мы выжили,оба многого добились,не смотря на лишения и нищету.
Сейчас сыну 26,женат,трехлетний внучок у меня уже.Недавно остановились возле магазина,малыш попить попросил.сын побежал покупать,а мы с внучком вышли воздухом подышать.В этот момент мимо мой бывший проходил.Он остановился,сразу к ребенку полез,стал его за ручки хватать.Когда я попыталась закрыть собой ребенка,он на повышенных тонах начал заявлять,что это его внук и он имеет право.В эту же секунду он получил пощечину от сына.Бывший пообщеал нам веселую жизнь устроить.Говорит,что если мы добровольно ему внука давать раз в неделю не будем,он подаст в суд.Говорит,по закону имеет право.мы почитали семейный кодекс-действительно ,имеет.Алименты формально платил,а остальное не докажешь.Может,есть способы запретить видеться ему с внуком?Он ведь не знает так называемого дедушку и боится его.