敷地内同居はしないといけないのか

初めまして！結婚４年目、末っ子長男と結婚した妻です。保育士をしていて、結婚を機に正規を辞めパートで働いています。今はお互い働いている職場の真ん中の距離のところに住むことになりましたが、通勤50分かけて行っています。正直遠いですが、私の実家の市内に住まわせてもらってるのでそこは我慢をしています。
私は結婚する前から、敷地内同居はしたくないとはっきり言ってきました。無理なら結婚もしないと言って、相手もわかってくれ住むところを考えると言ってくれたので安心したのですが…
それが結婚してから、ゆくゆくは敷地内同居したい、俺は親孝行したいから離れるのは無理、家の土地を守るのが役目だと言ってきます。パートだから仕事なんて辞めればいい、私の方が職場も環境もかえるべきだと言ってきます。私の両親に何かあった時はどうしてくれるのかを聞いても、自分で運転していけばいいと言って助ける気もないです。しまいには何で同居が嫌なの？で話し合ってきても分かってもらえません。義両親にも嫌がってることを話しているみたいで、私に土地を守っていくことが大事かを分かってもらわないとや、土地代浮けば好きなこと出来るし、子育てにそんなに介入しないよなどと言ってる様で、私がいろいろ考えすぎなんじゃないか？と言っている様です。
結婚とは親元から離れて独立し、新しい家庭を持って夫婦で助け合って築いていくものだと思っています。義両親の干渉なく、夫婦で助け合っていきたいのですが…旦那は義両親の近くに住めば助けてもらえる、親と一緒に子育てしたいという考えで全く理解も出来ず分かり合えません。
4年間ぶつかり合って話し合ってきましたが正直疲れてしまいました。敷地内同居しないと言ってるのは私のわがままなのでしょうか。このまま嫌と分かってもらえるまで言い続けてても良いのでしょうか。どうして良いか分からなくなり相談させて頂きました。