上手な断り方教えてください

よろしくお願いします。 男性の同僚に遊びに誘われました。 と言っても二人きりではなく、彼の大学時代のサークルのOBメンバーが主催する集まりです。 私はその人たちとは面識がなく、また自身人見知りなため断りたかったのですが 話の流れで上手く断れなくて、参加メンバーに入れられてしまいました。 私は彼が気になる存在なので、プライベートな集まりに呼んでくれたのを嬉しくも思ったのですが 大勢での集まりが苦手なのと、他のメンバー（女性）と仲良くしている彼を見るのは嫌だな、妬いてしまいそうだなって 今更ながらに考えてしまいまして…（我ながら器量が狭いです）正直行きたくないです。 同僚の彼とはプライベートな付き合いは一切なく、お互いのメアドも知りません。 遊びや食事に誘われる事は今までもありましたが、なぜかその場限りで実現した事はなかったので 今回日付指定までして誘ってくれて、だから内心浮かれて断りきれなかったのもあるのですが、 角が立たないようにうまく断るにはどのように話せばいいでしょうか？ 彼は軽いノリで誘ってくれただけだと思うので、予定が入ったといえばいいのでしょうが 断ったらもう誘ってもらえなくなりそうで（汗） こんなくだらない質問でごめんなさい。