婿養子の気持ち

40代の主婦です。
成人した子供が二人おります。
夫とは７年付き合い、夫が婿養子に入る形で結婚しました。

当時、私は嫁ぐつもりでいましたが、二人兄弟の長男の彼と二人姉妹の私だったため、ある日、夫が「婿に入れば問題なく結婚できるだろう」と言ってくれたのを機に、私の両親はとても喜び、とんとん拍子で話は進み結婚しました。（夫の実家は遠方の田舎で義弟が継いでいます）

ただ私の実家も遠い為、同居は不可能で、年末年始とお盆にわずか帰省をする状態です。今後も同居の予定はありません。そのような状況なので私は夫に感謝しつつも、夫が婿養子と言う意識も特にないなかで幸せな日々を送っています。
が、結婚２年目頃、何気ない会話で「お前の
後ろには親がついているから」と言われ、驚きとショックを受けた事があります。
その後、夫は浮気をし「離婚して欲しい」と言われた事もありましたが、その時も特に謝る事もなく、私が改めると約束し、何とか仲良くやってきました。
でも、最近では「跡継ぎ（息子）がいるから役目は終わった」「俺達の結婚は普通と違うから」と言い、亭主関白を通し、「養子に入ってたったんだから」と言わんばかりの強気な発言、行動を取ります。苗字まで変えた自分を自由に行動させろ、行動に口を出すなと言う感じです。

夫から「養子に入る」と言ってくれた事に感謝してますが、初めから実家は遠方なので同居の可能性は全くなく、普通の結婚同様、夫が核の家庭を築いてきたつもりですし、実際そのような家庭になっています。私の両親は気を遣って全く口出ししませんし、訪ねてくる事もなく電話等ほとんどありません。
男性が苗字が変わったのは大変な事はわかります。
でも、今になって・・。
夫婦として今後生活していけるのか、不安になっています。
婿養子の気持ちがわかる男性の方、ご助言いただければと思います。