夫の部下に対する気持ちをどうすればよいでしょうか？

初めて投稿なので、うまく今の気持ちが表現できるかわかりませんが。。。30代、第二子妊娠中です。

夫(40代）には、２０代の女性部下がいます。私も同じ職場にいるので、二人の関係を見ていますが、夫が部下に対して接する態度は、夫のその女性に対する「愛情」がみてとれます。
夫の「愛情」は即恋愛とか浮気につながるものではなく、その部下に対する包むような優しさなのかもしれません。
ただ、夫は、周囲で一緒に働く女性に対して、情が入って、必要以上にやさしくすることもあり、その部下の女性が、夫に対して恋心を抱く可能性もあります。

今のところ、肉体関係を疑う状況はまったくなく、１ヶ月か２ヶ月に１回、二人で食事くらいはしているようです。また、二人で仕事でどこかへでかけたついで（日帰り）に、花見とか何か楽しんでいるようです。
携帯では、時々(週に１、２度）やりとりをしているようで(携帯を見てしまいました）、夫からの「治ったらデートでもしましょ」というメールがあったり、女性からも連休後に「私も会いたかったです」というようなメールがあります。誕生日には、プレゼントも渡しているようです。
この件に関して、夫にカマをかけたことはありますが、「そういうことを言われるのは心外だ」という感じです。夫は、元々「浮気とか不倫はない。その瞬間は浮気でも不倫でもなく真実なんだ」という考え方の持ち主です。なので、その人のことを恋しく思う瞬間があれば、そう本人に言ってしまうでしょう。

私は別れるつもりはありませんが、今のこの状況でも不安で嫉妬深い気持ちです。もっと進んだら、私が正常心を保てるか自信がありません。主人の行動が相手の女性も傷つけることになると思っています。
私は夫にどう接すればよいのでしょうか？夫に直接問い質せば、天邪鬼なので逆にその女性に対する気持ちを募らせる確率が高いです。