他の子が好きなのではという噂が立った。

彼とは内緒のお付き合いをしています(職場内)。
バレると気を遣われたりなどやりづらくなるのではと思い、私から提案しました。彼はバレたらバレたでいいんじゃない？と言っていました。

彼には、仲良しの同僚女性がいます。付き合う前から仲良しでしたが、彼が同僚にちょっかいをかけにいくような形です。
そのためか、他スタッフから(彼くんは同僚さんが好きなんじゃない？そこ付き合ってるんじゃないの？)という噂が立ちはじめました。
否定していましたが、普段の行いが行いなのか噂は消えずヒートアップ。
私が彼女です！！って言いたいところですが内緒にするしかなく。

内緒だとしても交際相手への配慮はあるだろう！と耐えきれなくなって、彼に「仲が良いのは前から知ってる。だけど恋愛感情持ちとか、付き合ってるとまわりから思われるようなレベルの親密すぎる態度をとるのは付き合ってる私に失礼じゃないのか？」と言いました。
彼は「どんな噂が立とうと僕は心ちゃんが好きだから気にしないでいればいいのに。」と返答してきました。
逆の立場ならみじめになったり不安にならない？そんなに同僚が好きならそっちと付き合えばいいやんって言いたくならない？
と聞いてみましたが、「心ちゃんを信じてるからみんなが噂してても何とも思わない。」
と、私のモヤモヤした気持ちは理解してもらえませんでした。
私は「心ちゃんが違う男と噂になってたら悔しいね、これからは程々に控える」「僕は大丈夫だけど心ちゃんが嫌なら控えるね」あたりが返ってくると思ってたので私の気持ちを理解しようとしない姿勢、そして何も変えないスタイルの彼にびっくりしています。

皆さんはあまりこういうのは気にせずにいられますか？私が嫉妬深いのでしょうか？
(※本当は同僚のほうが好きだからという可能性は別れ話もしたけど本当に無いらしい。巻き込んでしまって同僚さんが1番の被害者ですよね)