離婚した夫と・・・

２年半前離婚しました。
色々と理由があり子供２人（高校生と小学生）は祖父母の家（元夫の両親）にいます。
普段子供、祖父母、元夫と私で行き来を繰り返しています。
子供は自分たちの気のむくまま私のところに来たり、元夫のところに行ったりと本人たちのいいように自由にしています。

最近元夫と話しをする機会があり（これまでも時々ありましたが）
復縁の話が出ました。

離婚の原因は元夫の借金だったのですが、私にも非があり、それは私も悪かったと思っています。

元夫はすごく優しい人で今でも変わらず私に接してくれます。

最近私も仕事がうまくいかず転職することになり、けれどなかなか思うように仕事が見つからないので、毎日落ち込んでいました。

そこに元夫から「戻ってこないか？」の一言が・・・

私の気持ちひとつで受け入れOKなようですが、やはり、そんな簡単にくっついたり別れたり・・・
しかもまだ夫は借金を完済していませんので元に戻れば私も一緒に返済のために苦労しなければいけないでしょう。

ただ二人の子供は私たちと家族で暮らすことをずっと強く望んでおり、私もそれを考えると胸が痛みます。

復縁に対しては、前向きに考えているのですが、ひとつ私がどうしても嫌なことがあります。
元夫は家族で暮らしていた家（一戸建てを購入してます）にいるのですが、引っ越して新しい場所でというのではなく、その家に戻ってこいと言ってます。

私が出て行ったことはご近所もみんなご存じですし、今さら何食わぬ顔をして以前住んでいた家に戻るのは好奇の目にさらされるようで耐え難いのです。（結構ご近所同士密接な土地柄でした）

私の単なるわがままなのかもしれませんが、どうしてもそれはキツイです。

皆様、私の考えが間違っているのでしょうか？