職場の男性について

32歳、既婚、事務員のパートで働きはじめて3ヵ月になります。

職場には男性3人女性(私も含め)2人おり、最近気づいたことですが、ひとりの男性社員(50代後半)が嫉妬深いような気がするのです。

その男性社員以外は皆30代～40代で年齢が近いこともあり雑談等をしていると、後から私に嫌みを言ってきます。

雑談している時はこの男性も話に加わり、私は殆ど聞いているだけなので、嫌みを言われる意味がわかりません。

私は、この男性社員にどう対処したらいいでしょうか。