元夫のことで子供に当たってしまう

トピを開いていただいてありがとうございます。 元夫とは4年前に離婚し、来年には別の方と再婚する予定です。 子供は今小学4年生です。 元夫との結婚生活は6年間でした。 毎日夜遅く帰り、休日は夕方まで寝て、子供とどこかに遊びに行くなど、考えたこともないような人でした。しょっちゅう休日出勤をしても、急用で携帯に連絡しても出ず、仕事先に連絡しても居ないと言われ。 そんな生活が3年続いたとき、性格の不一致による離婚を申し込まれました。おかしいと思い、探ってみると私と結婚してすぐから不倫していることが分かり、また私と離婚後に不倫相手と結婚の約束をしていることを知りました。 そのときは慰謝料を請求すると、何事もなかったように元の生活に戻りました。全く謝ってもらえなかったことと、「お前が悪いから不倫したんだ」と言われたときには落ち込みましたが。 それからまた3年後、やはり上手くいかず離婚ということになりました。 結婚生活では、何かに付けて「お前が悪いからだ」「頭悪い」「俺にとって子はかすがいじゃないぞ（離婚されたくなかったら尽くせ）」のようなことをいつも言われ続けておりました。 今は離婚して今の彼が大人で、精神的に不安定なときも支えてくれ、子供のことも本当に大切にしてくれてやっとで幸せを感じています。 前置きが長くなりましたが、これから掲題の件になります。 子供には離婚理由は全く伝えておりません。子供のことも考え、月に1回面会日を設けております。 私は元夫と顔を合わせるだけでも吐き気がするほど嫌いです。なので面会日前後、子供が元夫と会う（又は会ってきた）と思うだけで嫌悪し、つい子供に当たってしまいます。 なかなか大人になりきれない私ですが、子供に当たらないようにするいい方法などあれば、教えていただきたいです。