恋人と寝る時間が合わない

私　会社員　0時就寝7時起床
彼　会社員　3時就寝7時30分起床

彼とは遠距離恋愛していますがタイトルの通り寝る時間が合いません。
ほぼ毎日帰宅してから寝る時間まで通話しているのですが、私が寝る時間になると露骨に寂しそうな態度になります。
一時は彼に合わせて私も2時や3時に寝る生活をしていましたが、睡眠時間5時間未満では日中支障が出てしまうので0時に寝る生活に戻しました。
質問としては寝る時間が合わない恋人とはどう接するようにすれば良いでしょうか。
私としては健康の為にも彼にも0時頃に寝る生活にして欲しいのですがそれは私のわがままでしょうか。
彼は休日予定がない時は夕方まで寝てそれで何とかしているそうです。