元夫と子供の関係

８年前３人の子供を私が引き取り離婚しました。元夫の夢は自分のお店を開く事でしたが子供が小さかった為猛反対。いろいろと暴言も吐いてしまい結局は理解力のない私とはもうやっていけない離婚してくれと言われ協議離婚しました。　　離婚後毎月私の口座に養育費は振り込んでくれてはいますが連絡先は教えてくれず何処に住んでいるかも分かりませんでした。　ところが先日突然私の携帯に電話があり　「現在再婚をし奥さんと２人で７年前にお店を出したが不景気で・・養育費を半分に減らしてほしい」と　私は「無理しなくていいよ」と答えましたがこれからもっとお金がかかる時期（小３・中３・高１）なのでかなりショックをうけています。　
子供達は小さい頃から父親に会いたいと言っておりその事も伝えました。再婚した奥さんも子供がいて子供は元夫が引き取っているので会いたくても会えないのに俺だけが会うのは奥さんに対して申し訳ないと言われました。がいろいろ話しているうちに「子供達に会いたい」とも言ってくれました。私としては子供達の気持ちを優先して会ってほしいのですが、奥さんの存在が気になり連絡ができません。
夜も寝れないくらい悩んでいます。このまま会わない方がいいと思いますか？それとも連絡した方がいいと思いますか？
まとまりのない文章ですが最後まで読んでいただきありがとうございます。