離婚後、子供が友達を連れて元夫の会社見学に行きたいとのこと

半年前に、小3と3歳児の息子を連れ離婚しました。離婚後の父子面会は月2回と決めましたが、二回以上でも、なるべく希望に沿うよう会わせています。元夫と家は近いので長男は父子面会で父宅で過ごす時、学校の友達を呼んでいます。周囲は離婚を知っていますが私は元夫と子供の学校関係の方が接触するのが嫌です。浮気されまくった末に離婚したことや、子供関係の飲み会の席で有る事無い事ネタにして話されたことがあるのでまた同じようなことをしてはいないかと不安になります。（しかも元夫は外ヅラが良く人気者になってしまった）。長男は最近、元夫の会社に友達を連れて見学に行きたいと言い出し、元夫と長男は、友達を誘ったり説明したりといったセッティングを私にしてほしいというので、キレてしまいました。今日はちょうど子供の行事で、幸せな家族をたくさんみてきたのもあるかもしれませんが、、、元夫は子供が憧れる仕事をしているので、長男は友達にアピールしたいようです。親の離婚など悪いニュースしか与えられていないので期待に沿いたいのですが、また元夫の手柄になるようで悔しいです。皆さん離婚後の親子面会どうしていらっしゃるのでしょうか。