彼氏との今後をどうしていいか迷っています。

社内恋愛をしています。同じ部署で仕事をしていましたが、彼が異動になったのをきっかけに付き合い始めました。 彼は今専門外の部署にいて、私が自分（＝彼）がしたい仕事をしているのが目に入ると悔しくてイライラする、と言います。 それが原因で何度も別れ話になりました。私は好きだから別れたくないけど、顔を見るだけで辛いならやめよう、と言っています。 彼が自分の感情を持て余して別れを切り出し、冷静に話をしてやり直そうとなり、続いている状態です。 彼は自分の感情にとても素直で、良くも悪くも子供っぽい人です。 嫌な仕事は嫌々なのが傍から見ても分かったり、気分屋な所があり、そこが上に疎まれ異動になりました。 私の部署は柔軟な発想が一番大事で、だからこそ直属の上司は今まで彼に割と好きなようにさせていたし、それなりの結果も出していました。 ですが上司はそういう部下はいらない、彼がそこを克服しない限り復帰はない、と断言しています。 そんな状態なので、仕事の話を一切しません。彼をいらつかせるのを分かってて、話を振れません。 でも彼は私が一切仕事の話をしないのも気に食わないらしく、たまに彼から振ってきますが、最後は「腹立つ」とか「むかつく」とか言われて終わります。 仕事の話をしない時はとても優しくて楽しい彼で大好きなのですが、仕事の話で気を使いびくびくしながら付き合っていくことに正直疲れてきました。 いっそ、彼には私から別れを告げた方がいいのでしょうか？ それとも彼が成長して今の部署でも頑張れる、最終的に復帰できるまで待つべきなんでしょうか？ 彼も私のことを好きでいてくれていると信じていますが、やはり仕事のことを思うと気が重いです。 私に異動の予定はなく、彼がどんなに疎ましく思っても、私は会社を辞めるつもりはありません。 私たちは今後どうしたらいいのでしょうか？