С 1985 года Сергей Жигунов был женат на актрисе Вере Новиковой. Он разошелся с ней из-за романа с Анастасией Заворотнюк, но потом все же вернулся к супруге и даже женился на ней вновь.
Еще во время брака с Новиковой Жигунов познакомился с журналисткой Викторией Ворожбит, их встреча произошла во время подготовки кинофестиваля «Утро Родины» на Сахалине. У них случился роман, хотя оба были в тот момент несвободны. Ради новой избранницы Сергей ушел от жены, актрисы Веры Новиковой, а Виктория оставила мужа – медиамагната Виктора Суханова.
Влюбленные провели период карантина в пандемию 2020 года вместе, обосновавшись на месяцы в загородном доме. После официальных разводов пара сыграла свадьбу в 2021 году, Виктория взяла фамилию мужа. На торжество пригласили близких друзей и родственников.
По мнению ряда пользователей сети и журналистов, Ворожбит похожа на Заворотнюк, но сама она не согласна с таким мнением. «Вы ошибаетесь. Я – Виктория Ворожбит. Я похожа на себя и на маму с папой. Остальное придумали журналисты», – писала женщина в ответ на подобные комментарии.
Супруги ведут замкнутый образ жизни, почти не выходят в свет и не дают интервью. Большую часть времени они проводят в доме в Крыму. Виктория делилась в соцсетях, что планирует создать в Гурзуфе музей Константина Коровина. «Мой главный проект сейчас – это создание музея Константина Коровина в Гурзуфе. Вилла Саламбо, которую художник спроектировал и построил сам, раньше сдавалась туристам. Сейчас мы с мужем и моей командой делаем музей», – писала она.
У пары есть два любимых питомца – это собаки породы мальтезе Стеша и Степа. В своих соцсетях Виктория на вопрос подписчицы о наличии детей ответила, что у нее есть взрослый сын. У Жигунова есть дочь Мария от предыдущего брака с Верой Новиковой и падчерица Анастасия, дочь Новиковой, которую он воспитывал как родную и которую тоже называет дочерью.