彼への対応について（長文すみません）

同じ職場で出会った人とお付き合いしています。
出会って1年で付き合い、現在付き合って9ヶ月です。

お付き合いする前から仕事帰りにお食事に誘ってくれたり何気ないLINEをくれ話しを盛り上げたり、食事に行っても階段を降りる時等手を引いてエスコートしてくれる紳士さに惚れお付き合いすることになりました。

数ヶ月後家庭の事情により私はひとり暮らしをすることになり、彼も寮住まいなので「ならば同棲しよう」ということになったのですが「寮に帰らないといけない日があるから週5くらいで行く」と言っていましたが、ある日を境に全く来なくなりました。
遊びに行く事もなくなり、連絡を取ることもなくなってしまいました。

職場では顔を合わせるものの職場なので会話はなしです。
寂しくてLINEを送るのですが素っ気ない返事や「仕事でも会話できないし寂しい」と伝えると「仕方ない」で済まされてしまいます。

職場から近いこともあり彼が私の今の住まいを寮扱いしていたので(本人が認めました)それを注意したら「もう平日は行かない」と言われました。
私の家庭の事情でたまに母が泊まりに来ることがあり、それに気を使って彼はこちらへ来ないようなのですが「毎日来ている訳ではないし泊まりに来て欲しい」と伝えても「気を使うし使わせるから」と来てくれません。
「連絡さえくれれば都合合わせられるから」と言ってもこちらに来ようとはしません。

連絡しても素っ気ないですし遊びに行こうと言っても何かと断られ、泊まりに来て欲しいことを伝えても来てくれません…話し合いをしても何も変わりません
以前「将来のことは考えてる」と言ってくれましたがこの状態で一緒にいても辛いだけだなと思います。別れたいとは思いません。
距離を置くべきか再度話し合いをしてみるべきか、同じような思いをした方や何かアドバイスなどあれば教えて頂きたいです…