自分たちの面倒をみろという義父

主人の実家から３時間、私の実家から３０分ほど離れたところに家を建てようと考えています。しかし、義父が同居はしなくても、義父たちの家の近くに家を建てて、将来的には自分たちの面倒をみろと言ってきます。 義父は、主人が２歳の時に離婚をし、小１の時に再婚をしました。主人は、義父の再婚相手（義母）とは小１の１年間と高校の２年間しか一緒に生活をしておりません。後は祖父母に育ててもらっていました。だから、義父とも３７年生きてきたうち８年間、義母に至っては３年間しか一緒に暮らしていません。また、妹たち（異母兄妹）とは、２年間しか暮らしていません。 主人の実家へいっても、主人の部屋はなく、飾られている家族の写真には主人の姿は一つもありません。 そんな状況にも関わらず、義父は主人に「おまえは長男だから後を継ぐものだ。親の面倒をみるものだ」と言ってきます。 正直、主人を育ててきた義父母であれば、私も義父の意見を聞こうと思います。しかし、あまりにも勝手のいい考え方に腹が立ちます。これって私のわがままなのでしょうか？ 強硬手段で、家を建ててしまうこともできますが、主人にとっては血のつながった父親ですし、私たちの子供にしてみればおじいちゃんでもあるので、納得してもらえるのがいいのですが・・・。何かいいアドバイスありませんか？