彼氏の女友達に脅威を感じる

付き合って一年ほどの彼氏の女友達（既婚者）が気になります。
女友達は彼の幼馴染で、10年以上の付き合いの友人です。
存在は知っていましたが、頻繁に会う仲ではなく、たまに女友達の方からたわいもない連絡が来るくらいと聞いていました。
なのですが、最近になって知ったことでモヤモヤしています…。

・私と付き合う前は彼の自宅にしょっちゅう泊まりに来ていた
・二人で旅行に行っていた
・女友達のSNSに彼の自宅や、彼の写真つきで「大好きな相棒」「この人といるのがいちばんの幸せ」というような内容の投稿が数十件
・クリスマスや年末年始を何日も家で二人きりで過ごしていた
・彼の誕生日にポエムっぽい内容のメール
・女友達は１年前に結婚、その報告の直後に家に遊びに来ている
・彼が「彼女ができた」とメールで報告したところ、おめでとうや良かったねの言葉もなく「詳しく教えて！」だけだった

というような、私から見ると関係を疑ってしまうような距離感です。
上記の内容は彼が話してくれたもので（私がしつこく聞きました…）、「女友達のことはまったく女として見たことはない」「当たり前だけど体に触れたことはない」と言います。
ですが、見せてくれたメールの内容から察するに、ハグや頭を撫でるくらいのことはしていたと思っています…。
また、既婚者なのに異性の自宅で二人で過ごすのも理解できません。

彼自身は私がおかしいと思うことも理解してくれ、もう会うことはしないと言います。女友達からもらったというインテリアや手紙も自発的に捨てていました。普段の行動や性格から見ても、彼のことは信じられます。

が、正直なところ連絡を取ることすらやめて欲しいと思っています…。
ここまでしてくれている彼に対して、さすがにそれはわがままでしょうか？