子の養子縁組について悩んでいます

現在再婚した夫と私の子供も3人で生活しています。 お互いに離婚歴があり、私の子供と夫は養子縁組をしています。 ですが夫には前妻との子供、前妻との間で養子縁組をしたままの子供が数人います。 法律的に実子は親子関係を解消出来ないから養育費を支払って行く事は義務だと理解していて、今も毎月前妻の子供達に養育費を支払ってはいるのですが… 夫は前妻との間で養子縁組した子供との関係を解消してくれず困っています。 一時は期間を決めて離縁する事を了承してくれたのですが、最近その期間が近づいて来てからは「本当はしたくない！」と言って来ています。 別に会ったり連絡を取ったりもしていないようなのですが…私は離婚したのに養子縁組をしたままという点に理解が出来ないです。 もしも私が離婚する場合には絶対に今の夫とは養子縁組を解消するつもりでいますし… それについて夫は「前妻との子供の関わりについて口出して来たり気にするのはおかしい！周りがそれを聞いたらお前がどれだけ酷い人間なんだ！と思う。」と… これまで私の考えは間違っていないと思っていたのですが、夫から拒まれ続けて来て、だんだんと前妻との子供と離縁してくれないって所で悩むのはおかしい事なのかな？？と分からなくなって来てしまいました…。 みなさんの意見をお聞きしたいです。 宜しくお願い致します。