既婚者の方とのお食事

初めまして。閲覧有り難う御座います。
皆様のご意見を頂戴したく思い書き込ませて頂きました。

私は21歳の大学生です。
訳あって、大学には20歳で入学し、現在1年生なのですが
浪人当時にお世話になった講師の方から、よくお食事のお誘いを受けます。

勿論、それだけならば至って普通だとは思うのですが、その講師の方へ
以前私は告白したことがあるんです（既婚者だとはこの時知りませんでした）。
その時は「結婚してるから付き合う事は出来ないけど、また飲み行ったりしようよ」と言われ
社交辞令だろうと流していたのですが、その辺りから事ある度に「飲みに行こう」というメールが来るのです。

私としては当然、好意を抱いている相手からのお誘いですから嬉しいのですが
いくらはっきり振っているからと言っても、奥様の立場からしたら
深夜遅くに、夫が自分に告白してきた女と二人きりで飲みに行くというのは
あまり良い気がしないのではないかと言うのと、世間的におかしいのでは？
と思い、告白する前に一度飲みに行ったきり、やんわりと断ってはいます。

けれど、一般的には振った相手であれば、この様な事は普通の行いなのでしょうか？
それとも、年齢が20歳ほど離れているので、娘のような感覚で誘っているのでしょうか？
如何せん、今まで彼氏がいた事が無いので良く分かりません。

是非とも男性、女性、両方の立場からの意見を聞かせて下さい。
宜しく御願い致します。