ハラスメントとして、訴えるべき？

私はアルバイト。ある会社で社員のサポート事務をしています。 ある日同じフロアの、お隣の部署の男性社員と何日か同じような色のワイシャツを着たそうです。私は後で知りました。 その男性とはたまに顔を合わせるうちに、重い荷物などを持ってくれたりして気やすく話すようになりました。 でもそれだけの付き合いだったのです。 ところが、先のワイシャツの色が同じような日が続いただけで、「怪しい」示し合わせてるんじゃないの」という、ばかばかしい話を連日聞かされるようになりました。 発信元はその男性。ある日突然、「今日も同じなんですね。あまり同じだと変だと思って、似た色にしたですよ」と言ってきてびっくり。 まあ、場の和だと軽く考え「違う色をきるといったじゃないですか」などと軽く流したんです。 その翌日から毎日欠かさず、男性の部署の女性が「相談して着るんですってね」と舌なめずりしそうな顔でわざわざ、言いに来るように。そのうち飽きるだろうと適当に話を合わせてましたが、一向に開きず内容はさらにエスカレート。「昨日のうちにメールでやり取りし」着るものを合わせてくるそうで、あきれ果てました。 別な女性などは、こちらが仕事をしているところに飛び込んできて「関係してるんですって！だからワイシャツの色同じなんですって！」と嬉しそうに叫んできたんです。さすがに「その話題はいい加減、やめてください。迷惑なんですよ」といったところ、なんといったと思います？ 「いいじゃない、楽しいんだから」だそうです。限界だと考え、言い出した男性、最初にあおった女性を一人ずつ呼び出し、 1ワイシャツの色が毎日どうの、て話は迷惑している。2度を越した冗談はいじめである、毎日着るものに困るようになった、ことを伝えました。 女性のほうは謝りましたが、話をさらにエスカレートするつもりだったそうでその人の部署では当たり前の会話だそうです。