社内不倫に巻き込まれています

はじめまして。pico　結婚1年目の30歳です。
11月から勤めだした職場でのことです

上司妻子どもあり43歳と独身のN子25歳の不倫に早くも気づいてしまいました。

なぜかというと、私と上司が話しているとN子がとても嫌な顔をします。
最初は、二人の年齢も離れているのでN子が好きなだけなのかと思っていたのですが、昼食の時間を一緒にとったり、泊まりも多い職場なので不倫をしているようなのです。どちらも仕事はできる二人です。

私は、念願の仕事に就いたばかりでトラブルに巻き込まれたくないので、すぐに上司と距離をおきました。

すると、この行為があまりにも不自然だったようで、私と上司が深い仲になるかも、と周囲に思われてしまったのです。
上司は私が好みのようで、最初はよく顔を見られていました。
周囲にもその行動はわかりやすく見えたようです。

私も悪いところがあって、もともと上司にはいい顔をしてしまうのです。
今は、完全に距離をおいているのですが
最近は、N子に焼きもちを焼かせたいのか、N子の前だけ私に話しかけます。

仕事を教わるべきN子に切ない目を送られ、私は心が苦しくなります。
もしかして、二人の仲を隠すために利用されているのでは？
とまで考えてしまいます。

私は職場恋愛も不倫の経験もないのに、時折周りから疑いの目で見られ、苦しいです。また、結婚前に8年好きだった男性と上司が同じくらいの年齢なので
トラウマを引き出されるようで仕事にも集中できなくなってしまいました。

夫に相談したら、「そんなことで辞めたくなるなんて、職業意識が低い」と言われてしまいました。
上司に直接N子の前で話しかけないようお願いしたほうがいいのでしょうか？
同じ職場の女性に、相談したらいいのでしょうか？
ご意見お願い致します。