跡継ぎについて

結婚して十数年経ちました。不妊治療もしましたが、子供を授かる事ができませんでした。随分悩みましたが、夫婦二人での生活を前向きにと、ようやく気持ちを少しずつ切り替えてきたところです。４０代です。
義両親から養子をとの相談を受けました。私としては全く考えていませんでした。
主人は一人っ子で義両親の亡き後は土地や墓の責任があるとは思います。子供、孫を抱かせてあげれなかった事は申し訳ない気持ちでいっぱいですが、家、跡継ぎの為に養子と言われると納得できない思いです。
子供は欲しかったですが、主人との間での子供でなければ二人の生活でいいと思っています。
主人にはいとこがいてもう子供（男の子）がいるので、姓がなくなることはありません。
主人には親戚が多いので、墓などは頼む形でと漠然とは考えてはいました。養子という考えはありませんでした。
まさか義両親からこんな話を受けるとは思わず困惑しています。主人の子供が見たいのが本音だと思うので、離婚も考えています。
夫婦二人仲が良ければ・・・ではいけないのでしょうか？