彼との今後の見通しについてご意見ください

彼との関係に距離を置こうか考えています。
彼（３６歳）と私（３０歳）は交際期間約４年。今まで喧嘩も無く仲良く穏やかでした。彼は多忙な仕事ですが趣味も何とか続けているようです。合う頻度は月１、２度だったりそれ以下。私も自分のことに打ち込めていたので多少不安はあっても納得していましたし彼の優しい性格が好きだったので交際を続けていました。先日のデートでの会話が気になり投稿しました。
「出張と残業が多く親孝行ができない」とのこと。転勤が嫌で体力的に厳しいが出張で凌いでいるようです。彼は母親（父親：数年前病死）と同居の一人息子。都会は嫌だと転勤を頑なに拒んでいますが、１人残される母親が気がかりという気持ちが見え隠れします。転勤辞令がでると退職も選択肢にはいるようです。
会ったときはいつも彼の愛情は感じるのですが、彼の状況や考え、これまでの会う頻度からも私への気持ちは小さいように思えてなりません。私の中で、彼の優先順位は「親＞仕事・趣味（友達）＞恋人・その他」の図式ができあがってしまい、将来を考え結論を出したいと考え始めていた私は、彼と距離をおこうかと思い始めています。恋人より趣味をとった過去もあるようです。恋人をとったら破綻した場合何も残らないからと・・・。
また、彼の周りは子持ちの離婚者が多く、育児の大変さも耳にするようで自分の状況で、かつ子供まで持つ覚悟ができないようです。
彼の心を満たすのは、奥さんが母親と同居すると仕事に集中できるし全てうまくいくんだろうなと思います。住むなら環境の良い私の地元に住みたいと以前彼が言ってたくらいで明確に結婚について話したことはありません。
私は、将来子供についてはこだわりはないのですが、私の実家は同居のせいで家族が崩壊しかけた経緯がある為、同居は望みません。
私は、親思いのやさしい彼とは距離を置き次に進むべきでしょうか。