信頼していた男性上司の態度が豹変！

はじめまして。アラフォー主婦マリンです。パートで二ヶ月、
男性上司（独身）のもとで働いてます。
気難しく細すぎる部分もありますが、仕事に対して熱心なところを尊敬し、
私なりに頑張ってきました。
最近では、私の性格もだいぶ理解してもらえたような気がしていて、
コミュニケーションや雑談も少しずつできるような関係になってきました。
周りのパートの方からも、うまくやってエライと言われてました。

しかし、ある日…たまたま、とある既婚者の女性の方の話題をしていたとき、
ふと上司が自分は既婚者でも付き合うよ。とつぶやいのです。
私はびっくりして少しひいてしまいました…
真面目な彼からは意外な冗談？で、私のことを言われたわけじゃないのに、
何だかモヤモヤしていろいろ考えて警戒してしまいました。

次の日、普段通り挨拶をしたら、不機嫌そうな態度をされました。
その後も何もなかったように接しましたが、その日から、私に対してだけ
攻撃的でイライラした態度を取られます。
何事もなかったように穏やかに接したり態度を変えるので、
かき乱されミスをしたりして、仕事中、不安定になります。

なぜ、私が攻撃されるのかわからず悩んでます…（泣）
どう振る舞うのが、良いと思われますか？
仕事は辞める気はありません。