息子が隠れて父親に会っています

夫の生活態度の酷さに堪えられず、加えて子供達に与える悪影響を懸念して
子供達を連れて家を出、別居を経て離婚しました。
形式上は協議離婚です。
離婚に至る話し合いの場では子供達に対する面会や養育費については一切協議していません。
夫は面会の要求等には全く触れませんでした、ですので私からは何も求めませんでした。
その理由は、同居時においても夫は全くと言って良いほど子供に無関心だったためです。
離婚を期に一切の関係を絶ち私一人で育てようと思ったからです。

離婚のために転校させるのは忍びなかったので、元夫の自宅とは同一市内に家を借りました。

子供達は父親に会いたいと口に出すことはありませんでした。
私からは、あなたたちが社会人になって会いたいと思ったら会いに行ってもいいよ。だけどそれまでは会わないほうが良いよ。と言っていました。

離婚後最初のクリスマスに元夫から子供達にプレゼント渡したいと私に連絡がありましたが、その時は何を今さら父親ぶっているのかと怒りの気持ちしか湧かず、もう関わらないでと断りました。
それから一度も連絡は来ず、私から連絡もしませんでした。

５年ほど経ち現在に至るのですが、最近になって息子が父親に会っていることを知りました。
休日に友達と遊ぶと出かけた息子が父親と車に乗っているのを偶然見かけたのです。その後も休みの度に１日中外出する事が増えました。
父親に会ってるのか一度聞いてみましたが、会うつもりないよと答えました。
息子は高校生です

黙って会ってる事に大変ショックを受けました。
しかし、息子も元夫も黙っているしか方法が無かったかと思いましたのでこのまま静観する考えです。
ですが、未だに心中穏やかにはなれません。
元夫の影響を受けて荒んでしまう不安と、元夫に対する嫉妬です。

広い心で見守れるようになりたいです。ご助言お願いします。
長文失礼しました。