28歳の女性です。
半年前に街コン（一対一で半個室で話すタイプ）で出会った彼氏を疑ってしまいます。

彼は3つ年上で公務員、友人と複数人で参加していました。
友人に誘われて参加したと言っていて、数分の会話でしたがそれなりに興味が持て楽しく会話をした後、カップリングして連絡先を交換しました。
数回食事などして相手から告白されて付き合っていますが、彼をたびたび疑ってしまい信用できていません。

付き合ってから数ヶ月後、たまたま参加した街コンの運営HPを見ていたところ、別のパーティーの参加者レポートが載っており、参加者の特徴が彼に似ていました。当時の街コンに参加していた彼の友人の特徴に当てはまる人もいて、私と付き合っている間も友人と街コンにまだ参加しているのでは…と不安になってしまいました。ですか彼だと断定できるものがなく、結果的には私の推測でしかない状況です。

前の彼氏に隠れて浮気未遂をされ、その時に問い詰めたことで別れたことがあり、浮気に過剰に不安になってしまっているとは思います。
今回は決定的な証拠がなく、疑わしい状況で問い詰めて関係が悪化するのは避けようと、自分の気持ちを抑えて、表立って彼を疑うような行動はしていません。
その時は、私が彼を好きなのだから、彼に振られるまでは疑うことはせず、彼を信じよう！と決めたつもりでした。
ですが今後のパーティー参加予定者に彼と疑わしき人がいるのを見ては、何度も彼を問い詰めたくなり、不安に一日中苦しみ、私は彼に好かれているのかわからなくなって、こんなに不安になるのなら彼と別れて別の不安にならない人を探したほうがいいのでは、と考え最近はノイローゼぎみです。

不安を解消するためにどうしたらいいでしょうか。
彼を疑うことをやめたいです。
別れたほうがいいのでしょうか。