Не хочу чтобы сын общался с новой женой бывшего мужа. Почему меня осуждают?

Он её познакомил с сыном  и они несколько раз встречались, вместе проводили время, гуляли, были в кино, на выставке, играли в боулинг и пр. В том числе сын бывал и у неё дома. У нее тоже есть сын-подросток, они неплохо общались с мои сыном. 
У меня сердце щемит, что она сначала увела мужа из семьи, теперь и сына перетаскивает на свою сторону. Теперь я запрещаю бывшему мужу видеться с сыном в её присутствии, только одному. Он категорически против, говорит что я не имею права диктовать условия и будет обращаться в суд.Что посоветуете?