Отношения на работе.

Ситуация дурацкая, на работе не может быть отношений, знаю. Но случились несерьёзные отношения, только секс, обговаривали с мужчиной это. Он мой «подчинённый».
Когда я решила прекратить связь, он сделал так, что он ещё и бросил меня, да ещё и ушёл с работы на неопределенный срок, мол у нас плохо выстраиваются взаимоотношения рабочие после того, что было, закатил скандал. ( сказал он это только мне)
Со своей стороны я не хотела ничего серьёзного 100 процентов, он вот возможно.
Сейчас он хочет вернуться на работу обратно, у меня есть возможность сказать ему нет. Как думаете поступить?