国際離婚　子供　父親の関係について

１５年前に離婚しました。 離婚理由は浮気、借金、モラハラです。 二度と会わないかも知れない子供に養育費は払いたくないというので 合意し、当時１歳と３歳の子供を連れて帰国しました。 弁護士に相談もしましたが、アメリカで裁判を行った場合、裁判官が 子供を父親から引き離す事に反対をしたら子供は日本に連れて帰れない 可能性があったため裁判は行いませんでしたので、何の取り決めも ありません。 １０年結婚しており、離婚後も義父母、義姉、義兄とのやり取りは 今でも続いています。 １０年前に一度アメリカに戻る事になり、親子３人で３年住みました。 その時既に元夫は再婚していましたが、子供たちに会いたいというので 気まぐれに会いたい時だけ会うのではなく、月に１－２回定期的に会うので あれば、という事で合意しました。養育費も払うと言うので行政機関を 通し手続きをしている最中に現妻が嫉妬し、州外に引っ越していきました。 行政機関から養育費請求の連絡があったらしく、払いたくないがために メールや電話での嫌がらせを受け、あちらが弁護士を雇ったたのですが 争いたくないので養育費の件は取り下げをしました。 今年３月に上の子が高校を卒業し、今後アメリカの大学に行く予定です。 半年間、義姉家族宅に居候させてもらってます。 銀行口座開設、運転免許、バイト、ボランティア活動等をするにあたり、 色々手伝ってもらっており、感謝しています。 義兄から元夫に息子が義姉宅に居る連絡を入れたようです。 元夫は息子に会いたいようですが、息子を居候させてもらってる件は 感謝せず、自分にコソコソと！と義姉に対して怒ったようです。 息子には父親との交流は彼の意思に任せると言いましたがモヤモヤしています。 今まで養育費も払わず、交流も絶っていたのに今更父親面するのか、と。 ご意見をお願いします。