特定の女性のことを「嫌いじゃない」という夫

大したことではないと思いつつ、気になっているので、皆様の意見を聞かせてください。 夫と他愛もない話をしていて、その流れで、「職場の女性が夢に出てきた」という話になりました。 そこで私が、「実は好きだったりして。私と出会う前だったら、アプロ－チしたりしてたんじゃない？」と聞くと 「んー。なくはないかもな。嫌いじゃないし」 と言われました。 その時は「ふーん。そうなんだ」くらいでしたが、 よく考えると 二人でライン（仕事に関する悩みや相談のようなことをしていたり、 その女性と、ほかの女性と夫の3人で飲みに行ったり（2人っきりは無いようですが・・・） とこの発言を受けてから考えると気になることが出てきました。 これって、今のうちに何か対策をしておいたほうが良いのでしょうか？ それとも、ほおっておいていいレベルですか？ 結婚12年で、子供も２人いて、仲が悪いとか、そういうことはないのですが。。。 ちなみに相手の方は結婚3年目くらいです。