彼氏の帰りが遅い

こんにちは。
私には同棲している彼氏がいます。
彼は深夜の3時に家を出て帰ってくるのは夜6時頃です。
しかし最近毎日夜の１０時を過ぎます。
私も夜勤のバイトをしているのでバイトの準備をしながら毎日ご飯を作って待っています。

しかし、連絡もなく１０時を過ぎたりする毎日です。
彼の仕事は運送業なので道が混まない限り残業はありません。

遅くなった理由を聞いてもはぐらかされます。
遅くなるなら連絡してねっていうのを何百回言っても治りません。
最近はもう私が諦めて何も言わなくなりました。

週1～2週間に1回の休みも出かけます。すぐに帰ってくるよって言ったのに帰ってくるのは連絡なしの深夜１２時頃。
デートはもう半年はしてません。

たまに私が夜勤から帰って来て寝てる時にこっそり出かけます。
お洒落を全くしなかった彼が休みの日になると毎日お洒落をしワックスをして出かけます。

どれもこれも結婚している訳では無いので彼の自由と言われれば彼の自由なのですが、

せめて帰る時にでも連絡が欲しいのです。
これは私のわがままでしょうか。