遠距離からの引っ越し

付き合って3年の彼と遠距離恋愛中で、近々彼の住んでいる県へ引っ越すことになりました。
引っ越す理由は結婚や同棲ではなく、たまたま私のやりたいことが彼が住んでいる地にあり転職も考えていたのでこのタイミングになりました。結婚が視野にあるのはお互い確認済みなので、一石二鳥という感じで引っ越しを決めました。

現在新しい部屋を探していて、通勤のしやすさ・治安・部屋の条件を考えて探しまくりようやく第一希望の部屋が決まりました。
そこがダメだった場合の候補も検討しているときに、そういえば彼の勤務先が近いことに気がつきました。彼の住所は聞いていましたが、何区に住んでいるか曖昧だったので（彼も市内で引っ越したばかりなので）場所を確認したところ候補のうちの一つが彼の家から徒歩5分でした。
第一希望にあげている家も徒歩15分の距離です。

それを本人に伝えたところ、近すぎるのはちょっと、、、と返ってきました。
私たちは今まで遠距離の経験しかないので近くに住むことに違和感があるのはわかります。
でも、、なんとなく拒絶された感じがしてショックでした。
ちなみに彼は寮住まいなので近くても遠くても私が彼の家に行くことはありません。
彼も試験勉強や仕事が忙しいので私の家に入り浸る可能性も低いです。

私としては自分が住むことだけを考えて必死で探してやっと条件的にバランスが良い部屋を見つけたのに…という気持ちです。
なぜ近くが嫌なのかはまだ聞けていません。
もうすぐあちらに出向いて内見をする予定なので、その地区に住むのを諦めるとなればまた1から探さなければいけません。治安と相場がとてもいいところだったのに、、

彼の意見を尊重すべきですか？
近くに住むことで男性にとって不都合なこととは何でしょうか。