職場の男性と二人で食事に行くとき

アラフィフ歳女性です。

この年齢ですが、他に聞ける人がおらず投稿しました。

職場での飲み会は何度もありますが、私は離婚歴があり、婚姻期間20年ほどで、婚姻期間は不貞を疑われるため一度も異性とは出かけたことはなく、離婚後は子供もおり、お誘いはありましたが、実際出かけたことはありません。

しかし、子供も成人し子育て終了。何の目的もなくなり、急に寂しくなった所に、食事を誘ってくださる男性も再び出現して、職場の男性と2人での食事会をしました。こんな私でも誘ってもらって、嬉しく、これからも仲良くできたらいいと私は思っていました。
でも、帰り道、軽く『泊まっていく？』と言われショックを受けました。バツイチだし、十分な大人ですし、男女間の認識の違いなのか、私の頭の中で『一夜限りの？』の言葉が回ります。食事は数回程度で、相手は付き合う言葉はありませんでした。
結局は行かず、家に帰りましたが、それから食事に誘われなくなりました。多分、お泊りを断ったからだと思います。それからは相手の態度は冷たいですね。

数か月たち、再び職場の別の男性から食事に誘われています。かなり年上威厳のある方です。職場の飲み会や数人との食事会などはありますが、2人で出かかることはその方とは今回初めてです。
今から非常にドキドキしています。その男性は昔から女性の噂が絶えないようです。今更、どうして2人で食事会をするのか疑問です。

そこでご意見を伺いたいです。職場の男女で2人で食事会される男性の方、男女関係は意識されますか？それとも私が意識しすぎなのでしょうか？