みなさん、どう思いますか？

結婚して6年になる夫と、不妊治療して授かった1歳の娘が居ます。
主人の希望で、主人の地元に現在賃貸で暮らしています。私の実家からは車で1時間程かかり、私の職場へも車で1時間程かかります。主人の会社は電車で1時間半かかります。
義母は他界し、義父と主人（私も）折り合いが悪く、保育園の送迎などお願い出来るような環境ではありません。

主人と家を買おうと言う話をしているのですが、現在この状況で、主人は今住んでいる地元に家を建てたいと言います。私はフルタイムで働いているので、私の実家の近くに家を建て、両親のサポートを受けながら家事・育児を両立したいと思っています。
主人は基本的に電車通勤なのですが、職場から家が遠いという理由で、車で高速を利用して週2回ほど通勤します。それだけでガソリン代・高速代合わせて月5万円程かかります。また、飲み会の時はタクシーで帰って来ることもよくあり、飲み会で終電を逃して会社に泊まることもあります。
ちなみに、給料は私が年収850万円、主人が年収600万円程です。

私が実家のそばに家を建てたいというのはわがままでしょうか？
最近、どこに家を建てるかで主人と喧嘩ばかりして、もう嫌になって来て、離婚が頭によぎります。主人曰く、私の実家のあたりは治安が悪いのでそこには住みたくない、ということだそうです。別に私の地元じゃなくて良いので、実家の近くが良いのではないかと考えてしまいます。
それだけ車で通勤して、タクシー使って不便なはずのになんで地元にこだわるのか…理解出来ません。