彼氏と職場の女の人について

私と彼氏は遠距離恋愛なのですが、彼氏から最近『職場の女の人に頭を撫でられるんだよね』と言われました。彼氏は事も無げに言っていたのですが、私はとても不快な気持ちになりました。相手の女の人は私の存在も知っています。 彼氏は『何も言わないのもあれだから『撫でられたわーい(棒読み)』と言った』と言っていたのですがそもそも撫でられるのを拒否して欲しかったです。 前にも職場の別の女の人と仕事の相談という名目で 二人で飲みに行き、手を握られそうになったと言っていました。彼氏にとっては彼女らはただの職場の人で、彼自身が浮気する気は無いから大丈夫と思っているようですがこういうことが続くと私が耐えられません。 本当は職場の女の人にきちんと一言やめてと言って欲しいけど、そういうことを言うと『めんどくさい女』と思われそうだし、今後職場の人と何かあっても隠されてしまいそうで、何も彼には言えていません。 あまりにも彼氏がケロッとしているので、私の感覚がおかしいような気がしてしまいます。私は今後も我慢すべきなのでしょうか。彼女がいる男の人にボディタッチするのは普通のことなのでしょうか。 初めて書き込みするので至らない点がありましたらすみません。よろしくお願い致します。