私はどうしたらいいのでしょうか

はじめまして。9歳差ある夫婦です。(旦那が上) ほぼ毎日一緒にジムに通っています。 今日トレーニングをしていたら あの人(男)いつもあなた(私)を見てる 今日だけじゃない！何チラチラ見てんだ って言ってこようか と言われました。毎日通っている所ですし 揉め事など起こしたくありません。 今までも電車やすれ違った人(男)が私を見ると 何見てんだ　と言っていたり気づいたら 隣にいなく相手をとっ捕まえに行こうとして 引き剥がして必死に止めたりもしました。 私は周りをあまり見ないのと目が悪く 人の視線がどこに向いてるかまで 見えないので毎回先に気づきません。 露出が多い服は着ませんしスタイルが良くて 目を惹くとかそういうのでもありません。 たまたまこっち向いてただけじゃない？ 気にしないで　などと今まで言ってきましたが その後もいつも旦那は少しイライラして なんだあいつ　などと言い不機嫌に、、、 2人の雰囲気が悪くなりいつも疲れます。 これまでは通りすがりの人だったのですが 今回はほぼ毎日行く場所なので どうにか変に揉めたりなどはしたくないです。 たまたま見ただけなどと相手を庇う事を言うと 逆ギレされなくもなさそうですし 聞き流して気づいたら相手に言いに言って 見た　見てない　の言い合いになったなど 面倒な揉め事を起こしたくありません。 何かされたら言いに行く　くらいで いてほしいのですが難しそうで気が疲れます。 大人なんだから感情くらい抑えて落ち着いて ほしいです。(これも何回も言いました) どうにか冷静になれる心を持ってほしいのですが どうすればいいのでしょうか。 私は何て言えばいいのでしょうか。