遠距離、自宅に来てほしくないという彼氏

付き合ってまだ一か月程度の彼氏。
遠距離なのでずっと外で会うよりどちらかの自宅で会った方が経済的なのでは？と提案をしたら「自宅に来られるのは嫌だ」と言われました。

彼氏の言い分としては、子供二人分の養育費を支払い中（私立高校生、私大学生・首都圏で一人くらし）でお金が無い（養育費の他、教育費も全て自分が出している）ため今はボロアパートに住んでいる。恥ずかしいので見られたくない。

私としては気にならないと伝えたのですが、彼は嫌なようです。

これまでの付き合いややり取りの中で特に言動や行動に違和感は感じないのですが、出会いが趣味を通じてのＳＮＳなので彼の言い分を鵜呑みにしていいのか迷う自分もいます。

また、彼からこの件について「招待できるような家に引っ越す手もあると思うけど、あと１～２年後の高校生の子供が大学に上がるタイミングで結婚したいと思っている。
どうせそこで新たに家を借りるなら今引っ越しするのがもったいない。」
とも言われていますが、それもなんとなく腑に落ちません。

家に来させないってもしかして既婚者だったら・・・？という疑いまで発展するのは考えすぎでしょうか？

補足
彼氏も私もミドフォーで離婚歴あり
車でも公共の交通機関でも４時間ほどかかる距離に住んでいる
会う時はだいたい中間地点
体の関係はまだなし
勤務先や経歴は教えてもらっている