заводить ли отношения с женатым мужчиной?

Так сложилась жизнь, что я два раза осталась вдовой. Оба мужа были очень хорошими. После смерти второго четыре года была одна. За эти годы звали меня и замуж, и в любовницы, и в содержанки. Но в душе ничего не шевелилось, да и сейчас я всех мужчин сравниваю с бывшими.
Год назад по работе пересеклись с мужчиной, который меня чем-то зацепил, но женат плюс довольно существенная разница в возрасте. Я сказала себе "Табу". Месяц назад жизнь свела снова. За этот год ничего не изменилось в моем отношении к нему и я лишь чуть намекнула, что вообще могу обратить на него внимание.
 Закрутились отношения в которых меня в принципе просто боготворят. Мне с ним хорошо, спокойно, комфортно, уютно у нас прекрасный секс. Но я не хочу уводить его из семьи. Он мне не нужен.
Я изначально мимо ходом обронила фразу о коротком летнем романе (потому, что если отношения будут долгими, я к нему привыкну и мне будет больно его делить или с ним расставаться) 
А у него сносит голову, он звонит по пять раз на день, ему нужно хотя бы кофе где-нибудь попить каждый день вместе, придумывает триста причин что-бы сорваться из дома ко мне на ночь, строит какие-то планы на новый год.... (Господи какой новый год? Мне бы просто как-то перешагнуть свою прошлую жизнь и пойти дальше)
Он хороший, порядочный мужик и портить ему жизнь я не хочу, мне не нужны конфликты в его семье.
А город у нас маленький, и боюсь я, что такими темпами это очень быстро всплывет. Вот и возник вопрос "Что делать?" С одной стороны: мне сейчас хорошо и плевать мне на чувства какой-то неизвестной мне женщины (его жены), с другой: он мне не нужен навсегда, а как это мягко завязать потом я не знаю. Порвать отношения сейчас сразу, пока совсем не увязли? Или все таки получить удовольствие пару тройку месяцев и наплевать на всё?