生活リズムの違う彼

以前、「彼が不眠症で夜寝てくれない」というトピがありましたが、その内容と少し類似しています。
悩んでいるのは、彼との生活リズムが合わず、私が睡眠不足になっていることです。

私たちはお互いに社会人です。彼は週に３日ほど泊まりに来るのですが、晩酌したりテレビを見たりで、寝るのは２時くらいです。彼は普段から夜更かしで、自然にその時間になってしまうようです。
また、彼の仕事は早朝から始まるので、３時間半ほどしか寝られません。しかし、彼の仕事は終わりも早いので、夕方に仮眠しているようなのですが、私は18時まで仕事で、家に帰れば家事もあるので夜までは寝られません。会社の昼休みに少し寝ますが、やはり辛いです。
ちなみに、彼が来ない夜は、私は23時～6時まで寝ています。それは彼も知っています。

彼が来ている時、彼はいつも「眠たければ先に寝てくれたらいいよ」と言ってはくれるのですが、私が性格的に「はい、そうですか」とは眠れないのです。隣の部屋でゴソゴソされていると気になるというか…。

もう、半年以上、こんな生活が続いていますが、さすがに辛くなってきました。会いたいと言ってくれる気持ちは嬉しいのですが、好き・嫌い以前に、精神的にも体力的にも負担になってきたのです。

いままでは「彼は先に寝てもいいと言ってくれてるのに、寝られないのは私が悪いんだから我慢するしかない」と思っていましたが、だんだん「私の家に来るのなら、私の生活リズムに合わせてくれるべきなのでは？」という気がしてきたのです。
「郷に来ては郷に従え」ではありませんが、私の家にいる時は私の生活リズムに合わせてほしいという主張はワガママでしょうか？

なお、私たちはお互いに結婚は考えていません。