好意を抱かれてます

仕事の後輩に好意を抱かれているようです。

私は既婚者で子供もいます。

相手も周りも当然それを知っています。
身近な人々の間では私は子煩悩で通っているとおもいます。

その後輩とは比較的近くで仕事をしており、業務上疎通性を良くしておく必要がある間柄です。

以前何かの帰りに車で送ってもらったことがあり、そこで少し話をしたくらいの仲ですが、それをきっかけによく話をするようになりました。

ある飲み会の帰りに飲酒をしないその子の車に数人で乗り、駅まで送ってもらいました。

その時に今度お茶をしましょうと誘われました。

どのように返事をしたか覚えておりませんが、たぶん受け流した形になっていると思いますが、その後何度か誘われるようになりました。

連絡先も交換していないので一度も外で会ったことはありませんが、同僚に仲が良い、と指摘（揶揄）され、客観的な視点からは怪しい関係に見えなくもないと、はっと気付きました。
同僚には誘われたりするのは自分に隙があるから、と言われました。

その後も社内では同じように会話をしております。

同僚から指摘された後、一人でボーっと歩いているときなどに、その子との関係を考えたりすることがあります。

妻以外の女性のことを考えたりする自分のことが怖くなります。
また、心外な噂が立つこともやや心配です。

かといって、自分としては仲良く話をすることは問題のないことだという認識もあり、あえて疎遠にする必要もないのかとも思います。
どういうところが自分の隙なのかは今のところ自覚できません。
ちなみにその後輩のことは女性として見たことはありません。おそらく今後もないとおもいます。