妊娠3ヶ月、婚約中、引越し先についてとても悩んでいます

現在妊娠中で、わたしの家が更新なのでこの機会に、彼と一緒に暮らす家を探しています。 ですが、なかなか新しい引越し先が決まらず、あと数日で物件が見つからなかったら、彼が元カノと同棲していた家(現在の彼の賃貸マンション)に引っ越さないといけません。 コロナで転院の手続きなどが普通の時と同じようにできないので、早め早めにしなければいけないからです。 現在、彼と付き合って4～5ヶ月が経ちます。 彼は元々5年付き合って同棲している彼女がいて、わたしと付き合う2週間前くらいに別れたそうです。ですが、別れてから3ヶ月間は元カノの引っ越し先が決まらず、彼と一緒に住んでいました。 元カノが引っ越すまでの間、彼はほぼわたしの家に泊まりに来ていて、元カノがいる家にはあまり帰っていませんでした。今でも元カノと住んでた家にはあまり帰らず、ほぼわたしの家で暮らしています。 わたしは彼の家には行きたくなくて行ったことはありません。 現在妊娠3ヶ月目です。 彼と結婚もする予定です。 彼とわたしの貯金や、子供が生まれてからの生活、コロナの感染リスクも考えたら、彼の家に引っ越して生活するのがベストなのは理解しています。 ですが、数ヶ月前まで元カノと暮らしていた家に住むことがどうしても嫌で、わたしだけならまだしも、子どもをその家で育てると考えたら、どうしても彼の家には住みたくないです。 ちなみに元カノは彼の家から歩いて15分くらいの場所に引っ越したそうです。怖いです。 ただのわたしのわがままなのは分かっています。 子どもが安全に生活できる環境を作るのが優先なのも理解しています。でも、元カノとの家に住むことを考えると、彼と付き合わなきゃよかった、結婚なんてしない方がいいのかなとも考えてしまいます。 そのことで彼に当たってしまいます。 どうしたらいいのでしょうか？ 皆さんのご意見頂きたいです。