遠距離恋愛のモヤモヤについて

遠距離恋愛をしている20代後半の看護師です。
私には半年ほどお付き合いしている遠距離の彼氏が居ます。
私は彼が会いに来てくれた際の行動についてモヤモヤします。

私たちは月に一度お互いに事前に日にちを決め、お互いに行き来する形で会っています。
事前に決めた日にちに彼は有給などを使い会いに来てくれるのですが、急なシフト変更により私が出勤になってしまったことが数回あります。
その際、彼は私が仕事の間は彼も元々近くに住んでいたこともあり友人と遊びに出掛け夜22時ごろになると帰って来ます。

彼のこの行動に対して私はモヤモヤするのですがなぜでしょか？？

ちなみに、仕事になった事を彼に伝えても「仕事だから仕方ないね。頑張って。」と言ってくれます。