職場に気になる男性がいます。が・・・

職場に気になる男性がいます。 飲み会などでは話しますが2人で話したいと思い、先日帰りが一緒になった時に食事に誘いました。OKがもらえて喜んだのもつかの間、入った店で職場の仲間に偶然会ってしまいました。結局みんなで飲んで、それはそれで楽しかったのですが、翌日から「2人はそういう仲だったのね」と噂になってしまいました。 心中複雑ながら噂には笑って過ごしましたが、次にどうやって相手に近づいたらいいかわからなくなりました。 付き合いたいとかはまだ思っておらず、もっと知りたい、という段階です。 再度食事に誘うとしても、噂のことを考えると軽くは声をかけられず、かと言って、「あなたのことが気になるのでもっと話したい」とはっきり言った場合に相手に引かれてしまうと、そこで全てが終わってしまうように思います。 自然に近づける方法があれば教えてください！