元夫が子供との面会を拒否してきました

はじめまして。そらと申します。
皆さんにお知恵をお借りできればと思い投稿しました。

離婚して４年、現在息子は小学生１年になりました。

離婚の理由は、、
元夫の両親はギャンブルで自己破産→元夫が連帯保証で支払う事になった→必死に協力して返済した。
私の親は病気で足切断（独身の妹弟を精神的に助けていた）
「自分が一番じゃなきゃイヤだ」元夫＞実家・子供
等々の言葉に、落胆し離婚をしました。

強制執行承諾約款付きの公正証書を作成しました。

面会についての内容は

・子供の意志を尊重する。
・面会は原則月に一回　
・面接時間　２時間程度

面接交渉を拒否できる場合
・子供の精神状態が不安定なとき
・子供が面接を拒否する意思を示したとき
・子供が体調不良なとき

と、子供中心に考え作成しました。

元夫は、離婚後１年足らずで再婚しました。
現在の奥さんは色々な事情はわかっている。と言っていました。
その後すぐ子供が出来た。養育費減らして。と連絡がきたのですが、
いい返事をすぐに返さずにいたところ
流産したからやっぱりいい。と連絡がありました。

４ヶ月ほど元夫が体調が優れないと面会をしていません。

息子は、友達の両親も離婚されてる方が何名かいて、友達同士のパパ話になると
唯一自分はパパにたまに会える。
ということを支えにしているように感じています。

面会の拒否の理由は、再婚していることを子供に知られて複雑。仕事の途中子供を見かけてせつない。
ということでした。
私から適当に伝えてほしい。と言ってきています。
息子の気持ちを考えると、たまにパパに会え、会ったときの笑顔を守りたい。
と思う反面、やっぱり自己中の大馬鹿野郎だ・・・このまま会わさない方が。
という気持ちで、悩んでいます。

ご意見や体験談。何でも構わないのでアドバイスをお願いします。