すぐ落ちこむ彼氏を傷つけずに断る方法

私(33)、彼(20)で付き合って5ヶ月目になります。私も彼も一人暮らし、家も近くて仕事は別なのですが、休みの日が同じ。 当初は休みの日(週2)で毎週会ってて、連絡は毎日取り合い、遊びの前は彼が泊まりに来るというスタンスだったんですが……。 最近、彼が仕事後(22時～)に会いに来る日が増えてきて嬉しい気持ちもあるのですが、正直私の仕事が4時起きなので睡眠時間が3時間や4時間になっていて、彼に断った日もあるのですが、断る度に落ち込む表情やLINEがきます。「無理なさらずに！癒すので」と言われるんですけど…彼が家に来たら先ず私のベッドにゴロゴロと横になられ、携帯をみてインスタやLINEやWeb漫画を見始める。会話や一緒にテレビみたりはするのですが、やっぱり携帯と睨めっこ。料理人という事もあって、私が疲れてる時とか料理をたまに作ってくれるんですが……食材は高い物を選んできては割り勘。なんなら彼のが大食いなので、私の冷蔵庫の中も空っぽになる程で…その後のキッチンはぐちゃぐちゃのまま。作ってもらった身なので洗う分には良いのですが毎回床がぬれてたり切った後の残骸が落ちてたりしてて…。 そこまで潔癖では無いですが、そういう汚れやベッドも外着のまま腰掛けられたり寝転がられたくないのがあって…。 外食先では、彼のが凄い食べるのに割り勘。割り勘が悪いとは思わないんですけど…私が先に払った日があったのですが、財布をしまわれたまま返そうとしない彼に「ごめん！ご飯代」って言ったら、お金をこちらに渡す度に「すみません」と何度も謝りながら渡されて。私もお金返してとか本当は言いたくないのにこっちが悪いの？って思うようになって。私自身、仕事でのストレスもあり些細な事でも気になってるなって思ってて、少し会う頻度減らそうと思い、お泊まりを断わろうと思うのですが、彼氏を傷つけずどう断ろうかと悩んでます。