Что делать? Как доказать, что я не при чем?

Всем Доброго вечера!

Ситуация заключается в следующем.
У нас есть в доме сосед, которого особо не любят другие жильцы дома. Не буду вдаваться в подробности, почему его не жалуют, но так уж сложилось.
Летом на мой номер телефона несколько раз пришло сообщение о том, что якобы сосед и его любовница (в сообщении упоминались ее ФИО, адрес и место работы) содержат в ее квартире бордель, где вроде бы какие-то люди развлекаются с мальчиками. Мне сразу показалось это клеветой и я удалила сообщение. 
Потом подобное сообщение пришло еще несколько раз с разницей в две-три недели. И вот через месяца два-три с первого сообщения я решила съездить по данному адресу и увидела, как к указанному в сообщении дому подъезжает машина соседа. Он вышел оттуда с незнакомой женщиной, она несла сумки, они вошли в подъезд. Я подумала, что это просто напросто любовница и в том сообщение кто-то просто хотел его очернить. 
Но зимой пришло сообщение, причем уже на мое имя! Меня это насторожило. Я (каюсь) решила все-таки снова съездить по указанному адресу, когда его там не будет и хотя бы узнать, что может скрываться за дверью квартиры. Позвонила, никто не ответил. И вот спускаюсь я в этот злополучный разведвечер по лестнице, а внизу он (!!!) И спрашивает ехидно: "Ты здесь живешь?" Я пробормотала: "да". И тут он начал на меня кричать, что, дескать, стоит здесь ждет мальчиков, мол, ты что, не знаешь, что у меня здесь бордель, это ты со своими друзьями рассылаешь эти сообщения , ты меня ненавидишь почему-то, это твоих рук дело. Сказал, что за мной следил, ездил за моей машиной и  т.д. Никакие мои слова не смогли его переубедить, орал, как резанный, что ловил какие-то мои сигналы с каких-то "левых" симок (которых у меня отродясь не было), когда я названивала на все пять симок его любовницы и прочий бред. Я ему объясняла, что просто по наивности, а может и по глупости решила проверить этот адрес, так как ко мне неоднократно приходили сообщения, но он и слышать не захотел. Обвинил, что мы  якобы хотели отправить смс его жене с адресом любовницы и прочий бред. В общем, расстались мы на плохой ноте, на сердце такой груз. Сосед в возрасте, ему лет шестьдесят пять... Как посоветуете поступить? Просто молчать или?