バツイチ主人の子供との関係

よろしくお願いします。
主人 51歳 バツイチ
私 38歳 初婚・子供なし
主人の息子 20歳・前妻と同居

結婚1年目です。
主人が離婚したのは15年前で、離婚後も息子さんとの関係は良好です。
私は主人が息子さんと仲良くすることについては特に嫌だとは思いません。
ですが、最近は息子さんとその彼女、私、主人の4人で出かけたがります。正直、私は主人と2人の方が嬉しいですが主人が息子さんに会いたいのかなと思って無理して会っていました。つい最近「俺が死んでお前だけになった時、今から交流を持っておけば息子を頼りやすいだろうと(お前のためを)思ってそうしてるんだ」と言われ、もう雷で頭を打たれた気持ちになりました。
主人なりに私を心配してのことらしいのですが、私はある意味とてもショックでした。まず、私は息子さんに頼る気なんて全くありません。だいたい20歳の息子さんにしても、突然現れた父親の再婚相手と遊ぶより自分の彼女と2人で遊びたいはずです。
主人はさも名案のよう思っているので、何と言えば私の気持ちをわかってもらえるか悩んでいます。本当は自分が会いたいだけでは？とも思ってしまいます。