駄目なおじさんですか？

　私の彼の事なのですが・・・・同窓会で知り合いました。と言っても、高校時代は全く面識がなく、たまたま同じテーブルに座り意気投合し付き合っています。
しかし付き合い始めて、彼が同級生の女性３人にも声をかけていたのが発覚しました。時期は違うのですが、二人はメールのやり取り、一人はドライブに誘っていました。
それ以上の発展はなかったようですが、同じ高校出身という狭い中で、何人にもアプローチする気持ちが理解できませんでした。何だか誰でも良かったような気がして。それに加え、その中の一人が私の知人で私と彼の事を知り、嫌がらせの様な事をしてきました。
未練があった様で、彼の性格や行動を強烈に非難してきてたのに、自分にまだ気があるとか。本当に嫌な気分になってしまいました。
嫌な事もありましたが、彼とはすごく気が合いその後４年経った今でも付き合っています。
でも、過去の事がネックになっているので、その３人との関わりを断って欲しいのに、未だにつながりがあります。グループ内での飲み会とか簡単な連絡事項で個人的な付き合いでは勿論ありませんが、私にとっては非常に不愉快です。
その事でいつも喧嘩になってしまいます。
いつまでも、過去の女性にいい顔をしたい気持ちが理解できません。
私が気にしすぎなのでしょうか？