仕事と彼氏

職場の人と付き合っています。
職場の人達は噂好きが多く働きづらくなるのが嫌で付き合っていることを誰にも言っていません。
今はシフト制勤務で彼とは部署が違い、時々希望休を出して休みを合わせています。

しかし先日彼と同じ部署への異動の話をいただきました。
仕事としては現在の業務＋αになり、不安はありますがこれからに繋げるチャンスだと思っています。
少しですが給与もあがります。
ただ、彼の部署は現在2人しかおらず彼とは違う1人が時期は決まっていませんが転職を考えています。(そのための私の異動だと思います。)
そうなるとどちらかが出勤しなければいけなくなるため同じ日に休みをとることが出来なくなります。
彼に話したところ異動の話を断るよう言われました。
理由は
・職場で会う回数が減る(今は部署は違いますが同じ部屋で仕事をしています)
・お昼休憩も一緒になることがなくなる(今は時々被ります、他の人がいる場合はほぼ喋りませんが…)
・休みが合わせられなくなるため遊びに行けない
です。
1度逃したチャンスはなかなか巡ってこないと思うので今回のチャンスを逃したくはありません。
彼は結婚願望はなく私は結婚し、子供が欲しいのでいつか別れなければいけないという話はしています。ですが、一緒にいると楽しくて今は別れることを考えられません。
こんな状況になったらみなさんはどうするか聞かせてください。