彼の飲み会について意見をください

皆さんに質問です。

以前彼の携帯を見ていたら、
彼と彼の友人のメールのやり取りがありました。
同期が好きだという内容でした。
私は彼女ですが同じ職場ではありません。

友人■電話出れなくてごめん。
　彼■○○（同期の女性の名前）が好きなんだよ～
友人■飲んでんのか？
　彼■どうしたらいいんだよ～マジなんだよ○○（友人の名前）
友人■携帯番号聞いたんだろ？本気ですって言えよ。
　　　押しに弱いと思う○○（同期の女性の名前）は。
　　　研修残り少なくてセツネーな。

で、終わりでした。
　　　　
彼にメールについて聞くと、『好きじゃない。』と。
その女性とは何か特別な関係があるわけではないみたいなのですが、
それから、会社の同期（その女性が参加している）の飲み会に
行って欲しくありません。
これは私の我儘でしょうか？？

私は今年２６歳彼は２５歳です。
遠距離恋愛一年をしていて、彼の就職が決まった２３歳の時に同棲をする為、
彼の勤務先の名古屋に引越しをし、
彼は新入生で東京で一ヶ月研修中でした。
その研修中に友人に送っていたメールです。

彼は去年の１０月に東京に転勤が決まり私も仕事をやめ東京に来ました。
時間が経ち『好きだ』と言っていた女性と離れていたので、
気にしなくなっていたのに、今は部署は違うけれど同じ職場です。

飲み会はそう多くありませんが、会があるたび気になって、
喧嘩になってしまいます。
気にしすぎでしょうか？？
私の考えは不安にさせたのは彼なので会には行かないべきだと思うのですが、
そういうわけにはいかないのでしょうか？？

皆さんアドバイスをどうぞお願いします。。