どうすればいいのかモヤモヤ

共に25歳で実家を離れ県外で同棲してます。 お互いの実家が同じ県なのでゴールデンウィークに実家にかえることになっていて、 私が仕事で有給つかってないから有給を一日とって実家に一日多くいたいというと、 彼氏が俺の一日の有給はなんの意味もないと言われました。 私は自分の両親とすごく仲が良くて、一方、彼氏の両親は彼氏に対して無関心だったようです。 彼氏が言うには仲が悪いというわけでなく仲が悪い以前に無関心なんだよ。といっていました。 誕生日も小学生から一度も祝われたことはないと。お金を渡されるだけ。 聞いてると軽いネグレクトの家庭かなと思います。 そのため、帰っても挨拶もせず、彼氏の分の料理を作らないで、 冷蔵庫にコンビニのご飯をいれてるだけでやすむでいいらしいです。 彼氏の母親は専業主婦です。だから、実家にかえってもやることが無いようです。 そのため、もし、ゴールデンウィークに一日有給とるなら、もう1日俺と一緒にいる日をつくって欲しいと言われました。 ですが、ゴールデンウィークにプラス2日も有給はとれません。 彼氏は実家がいやで、少しでも私と一緒にいたいようで、 でもこれからも毎回そういう条件のようなものをつけられるのも、しんどいです。 彼氏は私の有給とりたいって言ったのをのむんだから、 俺が有給とってほしいって言ったのはダメとか不公平じゃん。みたいなことを言われました。 私はほとんどを一緒に過ごしてるんだから、私は実家帰るのを楽しみなんですが、 毎回帰省するとこういう話し合いになります。彼氏の気持ちも分かりますが、モヤモヤ。 どうすればいいですかね、、、。