彼との関係

27歳、付き合って6ヶ月の彼氏がいます。
社内恋愛でお付き合いをすることになり、
彼は会社の独身寮、私は実家で暮らしています。
最近彼との関係について少し悩んでいます。

彼は会社の独身寮（共同トイレ、共同風呂）に住んでいて、休みの日にも職場の人に会うので居心地が悪いと言っています。（寮費が安いというメリットがありそこに住んでいるのですが）そうすると付き合っている私を夜に急に呼び出そうとしたり、例えば日曜にどこか遊びに行く（割と近場）となっても前日にホテルなどで一緒に泊まりたいと言います。

私にどうしても会いたいと言ってくれているのも有難いですし、ゆっくり会えるのは多くて週1回（彼が休日も出張に行くことがあるため）で、私ももっと会いたい、少しでも長い時間一緒に過ごしたいという気持ちがありますが、私は実家暮らしなので家のルールというものは守らなければならないと思いますし、急に夜遅くに家から出ていくわけにもいかないと思い、いつも断っているのですが、毎回このようになることが多いので断ってばかりで心苦しく少し悩んでいます。

お風呂に入ってしまったからと言っても今から会いに行こうか？と言ってきたり、さすがに夜遅くに家に来られても困りますし。

やはり「会いたい」と言われたら夜遅くても会いに行くべきですか？こう言った経験があまり無いのでアドバイスをいただければと思います。