実父に同居を諦めてほしい

私は32歳の結婚4年目、一歳になる子供と3人賃貸に住んでいます。 相談したいのは今年で72歳になる実父の同居打診についてです。 私の両親は私が中学生の頃離婚しており、1人で賃貸に住んでいます。（母は再婚しました） その賃貸がここ数年で取り壊されることになりました。 取り壊されることは私が結婚する前から決まっていたことなのですが、結婚してから父と食事をする度にお金は出すし車も買うから将来一緒に住めたら〜みたい発言が何度もありました。 私は父と同居する考えが無かったので断りました。（夫も同居は希望してません） 納得いってなさそうでしたが私たちの近くに引っ越すと決めてくれました。 そして数年がたち、子供が産まれて広い家に引っ越すことになりましたがその時も前回ことを忘れたのか一部屋欲しいと頼まれましたが断りました。 近くの賃貸を探すのはやってくれているみたいですが希望する条件の物件がないらしく中々決まりません。 ことあるごとに、同居したいとお願いされて困っています。 最近は孫の世話すれば私たち夫婦も仕事がしやすいだろうと言われました。 そもそも高齢の父に孫の世話を頼むことは怖くて出来ないし、再婚した母と現在も会っていることを知っています。 （父と同居したら母と気軽に会えなくなります） 私の心は変わらないのですが、何度もお願いされる度にわかってくれないのかと気持ちがしんどくなり悩んでしまいます。 どうしたら気にせず居られるでしょうか？