私だけ誘われない

私３０歳、彼３６歳です。
付き合って３年くらいたちます。以前通っていた職業訓練校みたいなところで知り合いました。

学校？！の共通の友人がたくさんいますが、
最近私だけ飲み会に誘われません。

理由は多分私がトラブルメーカーだからだと思います。
噂で聞きました。

これだけ書くと私が悪いように思いますが、原因は彼です。
その学校内の女の人、数人に手をだしているからです。
（正確には過去形で手をだしていたことがある。）


私はその女性たちから嫌がらせを受けていて、
嫌味を言われたり、シカトされたりします。
飲み会でみんなが盛り上がっているときに、嫌味を言われて
私を含めてそこにいたみんながドン引きした場面、数回。

嫌味のひとつでも返して、スッキリしたいですけど、
私はなるべく知らないふり、上辺の話しでながしています。

私がいるととある女性数名が殺気立つ。
それで私は誘われなくなりました。

確かに彼女たちは影響力のある人たちです。
係とかいろいろやっているので。

でもその場の空気を悪くしないようにって、愛想笑いで
我慢しているこっちは誘われなくて、その女性たちと彼は誘われるなんて・・・。

もう、そう言う人たちとはかかわらないで、私は私で新しい人間関係を別の
ところでつくればいいや、って思うようにしていますが、やっぱり納得いきません。

それともこれらの理由は建前でみんなが私の事を良く思っていないって
ことなんでしょうか？