離婚してシングルファザーでいけるのか

こんにちは
私は２０代の外国人で妻は日本人です。
子供は二人もいます（３歳、１歳）
数年は日本に住んでいましたが現在は私の母国に住んでいます。

生活のごく普通なことでよく妻に怒られることがよくあります。
たとえば普通より１時間遅く会社から帰るときとか
まだ日本に住んでいたとき、妻はストレスでいっぱいだから怒りやすいなどと
言ってよくなるように気をつけますと言ってくれたんですけど
なかなか直りません。

妻が私の母国に住みたいと言ってみんなで移住しました。
ストレスが減って怒ることも減りましたが何か意見違いとかがあったら
すぐにキレます。

私は特に母国にいきたかったわけではなく妻のためにしました。
実は日本の会社で働くほうが好きだったんです（←変だという人もいると思いますけど）

妻と一緒に住むのは日がたつほど辛くなってきているのでどうしようかと悩んでいます。
妻と別れて、子供二人と一緒に日本に帰るのが心がしたいことなんですけど
外国人で親戚もない国でシングルファザーは大丈夫のかが問題です。
＊妻は子供を育ていますが離婚した場合はほしくないといったことがあります。
日本にいたときは私だけの収入で過ごしていたので経済的な心配はないですが…

離婚して日本に帰るのか、それとも子供のために我慢して大きくなったら離婚するのか
色々と悩んでいます。

どうかみんなのご意見をお願いいたします。