隣家のご主人

最近、引っ越してきた隣家のご主人（４０代くらい） 子供も中学生でしっかりした良い子。 おっとりして可愛い奥様もいます。 夏、田舎が同郷で、お土産もらったり共通の話題もあって盛り上がりました。 そして先日、「ケータイの電話番号教えて」と聞かれ、断るのもなんなので教えました。 すると、会社近くに美味しいレストランがあるので行こうと言うのです。 私は未亡人です。 教えましたが電話に出なかったので、最近は顔を合わすこともありません。 はっきり言って、教えなかった方がいいのか、出てから断るか、したら良かったのでしょうか。 夏休みも終わり、私はパートに出てますし、専業主婦の奥様とも会うことも無いです。 ちょっと、バツの悪いことになっちゃったかな？と思っています。 当然ながら、隣家の夫には興味ありません。 どうしたらよいでしょうか。