県外に行ってしまうバツイチの好きな人

長くなります。23歳女性です。今月末に好きな人が県外へ行ってしまいます。
会い始めて4ヶ月経ちます。彼は11歳年上のバツイチです。
彼とは曖昧な関係でして、付き合ってるわけではありません。
ですが、頻繁に家に遊びに行ったり、ドライブに連れて行ってくれたりと、
普通の恋人のような付き合い方をしています。
私に対しての態度も、好意があると感じます。
ですが、”付き合う”に関する話はお互い触れないようにしています。
彼が県外に行くのを知ったのは、会い始めて1ヶ月経った頃です。
その時はこんなに好きになってしまうとは思ってなくて、
ここ一ヶ月、告白をしようか、葛藤しています。
後悔するくらいなら告白すべき、と思うのですが、
彼のこれからの生活などを考えると、言うべきではないのかなと。
そこで皆さんの意見を頂きたく、投稿しました。
彼は3年前に離婚をしたのですが、その理由が奥さんの浮気でした。
2人の子供がいたのですが、下の子が6歳の時、自分との子供ではないことがわかり、
離婚に至ったとのことです。
そんな辛い思い出のあるこの場所から遠く離れ、新しい仕事を始める為に。
自分の人生を変える為、頑張る為に県外へ行くのだそうです。
こんな状況の彼に告白することは、彼にとって迷惑以外の何ものでもないんじゃないかなと、
そう思ってしまい、想いを伝えることができません。
まだ恋愛経験が浅いので、どうすればいいかわからず、何もできないまま、お別れになってしまいそうです。
想いを伝えた方がいいのでしょうか？
それとも、ただ「元気でね」と言った方が。。。？
いろいろな方の意見をお伺いしたいです。
どうかよろしくお願いします。