彼氏と友達の間で悩んでいます。

付き合って一年になる彼氏の話なのですが。。

私の彼氏は、以前に私の友達と付き合っていました。
私と出会ったのは別れてからですし、それは気にしていません。
ただ、私の彼氏はその元彼女を非常に嫌っています。
色々と理由はあり、私自身も酷いな、と思っています。

ただ、付き合いというものがあり私も彼女を含めた数人で、
ごはんに行ったりすることは少なくありません。
正直、ちょっと変わった元彼女なので、そんなに仲良くしたいとは
思っておらず、私から誘うことはないのですが、とにかく向こうから
誘ってきます。

それが非常に気に食わないようで、都度口論になります。
「何で行くのか理解できない」
「誘われたから仕方ない」
と平行線になってしまい、それが嫌で別れようと思ったこともあります。

ただ、一方で、これを理由に別れるのも何か違うような気もして・・。
かといって、元彼女は私自身に酷いことはしていないのに、絶縁するのも
おかしいかと思ってしまうのです。

こういう場合、皆さんならどうされますか。