夫婦の住む場所

結婚して１年が経った３０代前半の夫婦です。 今、将来家を建てる家の場所について、悩んでいます。 現在私の実家には車で１時間３０分、夫の実家には車で３０分の距離に住んでおります。 夫は長男で「おかんの面倒は自分がみる」と考えており、２人の弟がいます。 私には父はおらず、母と兄がいますが、兄は母の面倒を見るつもりはないみたいです。 実際私達は家庭の事情で、兄はずっと父と住み、私はずっと母と住んで居ました。 クセのある母なので、兄の気持ちも分からないでもありません。 私としては、うちの家庭の事情も汲んで中間辺り （お互いの実家に車で１時間位で行ける距離） に家を建てるのが一番いいんじゃないかと思うのですが そこは断固として「それは（自分の実家から）遠すぎる」と言います。 夫の母も苦労をして、男の子３人を育てており、夫の気持ちも分からなくはないのですが。。。 普段は優しい夫で、休日は私の行きたい所に行く事が多く 自分の意見を押し通すと言う事はありません。 だけどこの話だけは譲れないようです。 やはり私が折れるしかないのでしょうか。