彼氏と彼氏の女友達について

今、同棲を始めた彼氏がいます。
私25歳、彼氏30歳になります。
結婚を前提に考えていて、地方から彼氏のところへ引っ越して来ました。
派手に遊びをする人ではなく、少数の友達と呑みに行く程度です。

しかし、気になることがあります。
彼には長年の友人で恋愛関係に発展しそうになった女友達がいます。
２人で一緒に泊まりで旅行へ行って、何も無かったと本人は言っていますが、女友達の方から告白もされたと聞きました。
時系列として、私と少しかぶっているのですが、私と付き合わなかったら、彼女と付き合っていたとも言われました。
その彼女と連絡を取り合い、２人で飲みに行きたいと言われました。
私は知りませんでしたが、メール・電話等で連絡を取り合っていたようです。
また、２人のやり取りの中で私が出てきて、呑みに行くならついてくるんじゃないかと言う話までしていたようです。

私は、出来れば会いたくないし、なぜ２人で呑みに行きたいのか、なぜ２人で遊ばなくてはいけないのか、とても理解できません。
この事で言い合いになり、現段階では２人でどこかへというのはありませんが、私も一緒に呑みに行こうと誘われました。
行くべきなんでしょうか？

私にも男友達と遊べばいいという意見も出るでしょうが、生憎遠方からの引越しで、現在こちらに友達は１人も居りません。

私の心が狭いのでしょうか？
みなさんはどうしているのでしょうか？

ご回答、ご意見いただけたら幸いです。