同僚の女性との食事

こんばんは。
出来れば女の人の立場から、どう思われるか聞いてみたいです。

私の会社は色々な部署に分かれており、昨日全体会議がありました。普段は別の場所で働いている人たちが集まって、会議をするのが全体会議です。
21時頃終了し、ずっと好きだった同僚の女性と2人で駅まで行く流れとなりました。夕方から何も食べていなかったので、お腹空いたという話になり、「食事いきませんか？」と誘うと、「いいですよ。」と言ってくれ、2時間ほど一緒にいました。凄く楽しかったです。
問題は次の日、上司に、「会議のあとどっか行ったん？」と聞かれ、「はい」と正直に答え、誰という話になり、◯◯さんと答え、「2人で？」ということになりました。ちなみに上司は女の人で、良い方ですが、噂話や誰がどうした、ああしたという話が好きな方です。

質問したい内容は、男性と2人で食事に行った時、会社の人に2人で行ったこと言われるって嫌ですか？話した内容とかは、言ってません。
ちなみ関係性は、会社の同僚でしかなく、私は気がありますが、彼女には気がないんだろうなと感じています。
自分にとっては、大切な時間だったし、秘密にしとけばよかったという思いがある一方で、彼女にとって自分は同僚でしかないわけで、秘密にすることではないだろうなとも思います。
だけど色々考えてしまいます。
口のの軽い奴と思われてないか、もう一緒に行ってくれないんじゃないか、彼女自身が色々聞かれ、嫌な思いをするんじゃないかとか。
取り留めのない文章で、すみません。
女性の方で同じ立場だったら、どう思われるかるか、教えてほしいです。
言っても問題なかったのか？秘密にしといたほうがよかったのか？
何でもいいので、ご意見をお聞かせください。よろしくお願いします。