Как поступить с квартирой?

Ситуация такая: у нас с мужем по 2-му браку. У каждого в предыдущих  были дети ( у меня 1 сын, у мужа 2) которых воспитывали мы. Ещё до брака мои родители купили квартиру (как бы для своего внука), которую мы в последствии обменяли на лучшую, которую благополучно сдаём. Так вот, старший сын мужа женится. И муж предлагает их пустить в эту квартиру. И я вроде бы не против, но... А если мой сын собирается женится ему куда:
- снимать, так ему бабушка квартиру купила;
- их выгонять вроде не удобно.
Муж обижается. Не знаю как поступить.