父を残して引越しするのは

乱文ですがお許しください。 私は30代前半の主婦です。 夫、子供、私の実父（以下：父）の4人で私所有のマンションに住んでいます。 結婚前は父と2人暮らしでしたが（世帯は別）、結婚してから夫を招き入れた状態です。 同居の理由は、広さは十分ですし金銭的に楽だからです。 結婚してから３年、新築の一戸建てを購入するのが私たち夫婦の夢で それが現実的になってきたのですが、悩んでいます。 それは、家族3人で引っ越したいという事です。 父と暮らしたくありません。 父が居れば家族水入らずって訳にもいかないですし、 父にイライラすることも多いからです。子供が産まれてからは特に増えました。 決して悪い人間ではないので、こちらの気の持ちようもありますが… 「もし倒れたりしたら？」 「親戚中に冷たいといわれるかも…」 「仕事もしていて元気だし、家事だって十分できるし（母は10年以上前に他界しています） 一緒に住まなくてはいけない理由など、そもそもないではないか」 「長男でもあるまいし」 「面倒見るために同居しているわけではないし」 など、いろいろ思ったりするのですが。 父が一人になることに少し罪悪感を感じるのですが、考えすぎでしょうか。 それともやはり私の考えは冷たいのでしょうか。 皆さんはどう思われますか？ご意見をお聞かせいただければ有り難く存じます。