これって理不尽じゃないですか？承継者は私？

開いてくれてありがとうございます。
37歳男（一人っ子）、妻あり。
親戚関係が複雑で墓の承継について不安があります。
両親は私が小学生の時に離婚し、その数年後に父は他界しました。
母は私が成人になってから再婚しました。
両親の離婚時に私は母の戸籍に入りましたが、名字は父のものを名乗り続け現在に至っています。（仮に田中とします）
他界した父には兄がおり、その兄夫婦には子供３人（女）がいますが、３人とも嫁いだので、兄夫婦が他界してしまうと田中を名乗る者は私しかいない状況です。

ここで墓の話になるのですが、兄夫婦が私に田中家の墓を承継させようとしているようで困惑しています。
確かに父がその墓に眠っており墓参りも時々してはいますが、戸籍上の繋がりは離婚時に完全に切れています。
私はただ「田中」を名乗り続けたというだけなのですが、それだけでこんなに大きな義務が発生するのでしょうか？

ゆくゆくの話ですが、実父だけをその墓から別の所へ移して私が守っていけたらとは考えています。
田中家代々祖先＋兄夫婦の眠る（予定）の墓については兄夫婦の娘たちにお任せしたいというのが本心です。

自分の母と再婚相手・妻の両親のことも考えなければならないのに田中家の墓まで丸ごと背負わなければならないだなんて考えられません。
理不尽な兄夫婦の強要から逃れるための良い対応をご教示ください。
かなりの堅物で人の意見は突っぱねるタイプなので何と言えば納得してもらえるのか悩んでいます。