離婚歴ある男性への恋

6年前から、存在は知っていて、娘さんが幼い頃から挨拶だけはしていた男性がいました。 不定期にしか会わなかったので、存在だけしか知らず時が経ち。外国人の奥様の浮気現場見た事もありましたが、言うに言えず。知らぬ間に離婚されていて。 離婚後、顔見る機会、話す機会も増え、気がつけばときめく恋心。 連絡先聞くのも何も動けず、近隣の目もあり、忘れようとだけ試みるも会わないと会わないで考えてしまってます。 このような場合、外でデート等 お誘いしても大丈夫でしょうか？ 忌憚なきご意見、お願いします。