嫉妬深い彼氏…でも自分は…。

職場恋愛の彼氏がいるんですが
とても嫉妬深く、私が同僚の男性と喋っているだけで嫌な顔をします。

以前私が同僚数人で食事に行った時（女性 男性半々くらいで）
とてもヤキモチを妬かれてケンカになってしまったので
そういうのが嫌な人なんだな…と思い
それ以来異性のいる食事会や異性がいそうな遊びの誘いは断り続けています。
（お付き合いの飲み会くらいは行ったりしますが）

ですが、先日彼が「会社の仲のいい人達とゴルフに行ってくる。女の子が一人だけいるけど、俺は◯◯君と◯◯君と3人でまわるから！」
と言ってゴルフに出掛けて行ったのですが
彼がFacebookで女の子と友達になっていたので、アレ？と思っていたら
実は他にも女の子がいたようで…（たまたま私の知り合いの女の子だったので判明しました）

彼から素直に言ってくれば許そうと思っていたのですが
帰ってきても何も言わず。
「ゴルフどうだった？」と聞いたら「疲れた。」とだけ。

何も言う気がないなーと思い「なんで◯◯ちゃんが一緒だったの？」と聞くと
慌てた様子で「◯◯君が勝手に誘っちゃってさー、んで◯◯君が勝手にチーム決めちゃって
俺と◯◯ちゃんで一緒にまわる事になっちゃってさー！」と…。

イラッとしましたが、その場はこらえて何も言いませんでした。
でも私は同僚と話しているだけで彼にグチグチ言われるのに
納得出来ません。
時間が経つほど怒りが込み上げて、同時にとても悲しいです。

こういう時みなさんならどうされますか？

彼に「私が同じような事しても何も言わないでね。」
と言うか、いっそ私も同じような事をして様子をみるか（絶対にものすごく怒りますが…）
それとももっと良い方法はありませんか？

アドバイスをよろしくお願いします。
長文で申し訳ありません。