日米国際離婚と親権(経験者の方などご意見願います)

結婚してからずっとアメリカに住んでいて、出産子育てしていたある日突然アメリカ人夫から離婚を伝えられました。 新しい彼女ができてすぐで熱病の様に話が普通にできない状態でしたので、諦めて離婚手続きをして(夫のサインだけされてない状態)夫の同意を得て子供と日本に帰りました。 あまり積極的に子供に電話もしてこないし、数ヶ月後やはり子供とアメリカに戻るべきだというので(やり直す等ではなく)、経済的にどの様にやって行けるか話し合おうとしてもちゃんとした話し合いもないので、そのままにしておくと兵糧攻めに合い、弁護士を通して面会権に関して文句が来ました。確かに積極的に子供とのやり取りを取りもってはいませんでした。義理側の祖父母に会わせようとアメリカに連れて行った際も、もしも急に夫が法的手段を取って日本に戻れなくなったらと不安だったので夫には言わずに行きました。夫が子供に会いに日本に来た際は私としては出来る限り会わせましたが充分ではなかった様で色々不満が溜まったとの事で親権を申立するのでアメリカに戻ってくる様言われています。不倫相手の彼女と一緒に住まわすと言っています(アメリカ的には問題なし)。 子供は一年以上日本に住んでいて、英語は日本語ほど話せませんし、経済的な事や、私が命に関わる病気もしている事もあって、アメリカに住むのはものすごく不安なのですが、夫はもはや私の人生などどうでも良く、子供が戻って週の半分自分の家で面倒見れればそれで良しとしています。 法的には色々解釈があると思いますが、連れ去ってないのでハーグ条約に抵触しないと弁護士には言われています。 現在はビデオ電話を定期的にしているし、日本に会いに来るのは全く構いません。ただすっかり変わってしまった夫の要求を聞くのが恐く、でも父子を離してて良いのか迷っています。 色々ご意見・アドバイス頂けると幸いです。