Муж хочет второго ребенка. Я не готова

Подскажите, кто сталкивался с такой сложной ситуацией, что делать
Когда дочурке было 1,5 года я развелась с первым мужем. Потом через полгода я встретила нового мужчину, мы живем вместе (я, дочка, новый молодой человек) уже полгода. Дочка называет его папой, по его же инициативе, но с недавних пор все стало рушиться, новый муж хочет чтобы мы завели совместного ребенка, а я не готова пока, мне хочется выйти на работу хотя бы годика на 2-3, а потом я могу и еще раз уйти в отпуск, но после почти 3х лет сидения дома, я уже мечтала, как выйду на работу.Но он очень категоричен стал, доводы "подождать пару лет" его не устраивают, и мне кажется, что если я не соглашусь, то он уйдет, а для меня все эти разрывы ужасно тяжело переносятся, и для дочки тоже. Как же поступить