彼氏が職場の仲間といると辛い

彼氏と職場の仲間の付き合いについて。
私と彼氏は同じ職場です。
付き合っている事は隠しています。
（噂の広まりやすい職場なのでばれて仕事がし辛くなるのを防ぐためです）
彼氏は職場で仲の良い仲間が4人いて、男1人
、女3人です。皆アラサーです。
私も付き合う前からその仲間とも彼氏ともまぁまぁ仲がよく、よく6人で遊んでいました。
しかし、付き合ってからというもの、付き合う事を隠して仲間うちで会うのが辛くなりました。
私以外のみんなは同じ部署、私だけが数年前に別の部署に異動したのでわからない話も多いです。
彼氏はディズニーランドに行ったとか、最近オープンしたケーキ屋に行ったとか、私と行ったところやした事の話を別の友達としたていで話します。
私は一緒だったとは言えないので、「そうなんだ～」「そこ行ってみた～い」とか知らないていで話します。
私と彼氏以外は恋人がいなく、私も彼氏も付き合っているのを隠しているので恋人がいないていで話します。
「〇〇ちゃんもかわいいのに、なんで彼氏がいないんだろうね。」とか「〇〇ちゃん、寂しくなったら俺でもいいんだよ。」とか冗談ですが、そんな事を言う彼氏に腹が立ちます。

話したい事も話せず、知らないふりをし、話を合わせるのがしんどいです。
辛い気持ちでみんなと会うのが嫌です。
私だけみんなと遊びに行かないで、また知らない話が増えるのも、1人でみんなは楽しんでるんだろうなと悶々とするのも嫌です。

仲間うちとの付き合いをどうしたらいいのでしょう？

ちなみに彼氏は何も気にせず話したい事を話すので、みんなで会うのは楽しそうです。
ハロウィンやクリスマスやイベント事もみんなと一緒に過ごします。（私もいますが）
私が辛いのも少しはわかっています。
それでも自分が楽しいので何もしようとしない彼氏に何と言ったらいいのでしょう？