Как надо было правильно поступить?

У меня трое детей, маленьких, старшему 6 младший ещё в коляске 1 годик. Гуляли перед подъездом, там яблоня растёт, дети яблок попросили. Я и дети начали с веток яблоки срывать, палкой яблоки доставать. Тут из подъезда выходить пьяный сосед, стделец бывший, сейчас на условке. Пьёт постоянно. Раньше здоровался, а ты с ходу на меня орать начал. Матами и другими нехорошими словами. Что мы яблоню ломаем. Я ответила, что мы можем яблоки есть, дерево общественное. Так он кулаки сжал и на нас пошёл. Я испугалась, как представила что быть начнёт, ещё и на глазах у детях. И убежать с малышами и коляской я далеко не смогу и не успею. Я сказала что все, не трогаю и он ушёл победителям.
Меня теперь гложет чувство, что я ни себя, ни детей не смогла защитить. Я матом не ругаюсь, обматерить на его уровне не смогла бы. Подраться тоже. Я скромная, доброжелательная.
Недавно узнала от соседей что был женщин, те заявления писали, но как обычно были только разъяснительные беседы.
Я не хочу быть терпилой в нашем дворе, но что делать не знаю.