復縁するか迷っています

30代女性です。
約１年ほど交際していた初めての彼氏に2ヶ月前に振られて別れました。
別れてからも友人としてたまにやり取りがあったのですが、先日食事に誘われ、行ってみたら「別れたのを後悔している。また付き合って欲しい」と言われました。

元々別れた理由は、私が姉の借金を肩代わりする状況になった事と、普段から彼との付き合い方に対して姉が干渉するのが耐えられなかった為です。
借金に関しては姉が一人でDVや離婚に耐えていた時のもので、持病もあり働けずという事情があります。また自分も働けなかった時期もあり、今は資格を取ってなんとか家族を支えられるようになったので払う事を決めました。
干渉については、私が毎回彼氏の家に行く(迎えに来ない)事や、帰りが遅くなる事を姉が「大事にされていない」と心配していて、最初はあまり気にせずに行動していたのですが、毎回不機嫌になったり注意されるのでだんだん時間を早めたりするようになりました。

彼は日系の外国人です。過去にかなり苦労した人で、家族はいますが一人暮らしをして長く、非正規ですが仕事は真面目です。私は彼のそういう所を尊敬していて、一緒になりたいと思っていました。
ただお互いの時間がなかなか合わなかったり、私に家にいて欲しいと考えていたり、社会問題や差別意識のような話をした時意見が合わなかったり、やっていけるのかな？と不安になる部分は少しありました。

また、この復縁話の際に別れたのに彼の家に行った事について姉には「常識がない、都合のいい女すぎる」と言われてしまいました。彼には「お姉さんに支配されすぎている」と言われます。そしてお互いに「相手に対して優しすぎる」と言います。

意志が弱く流されやすいためどちらの意見も正しい気がして、どうしたらいいか分からなくなっています。気持ちだけなら即OKしたいのですが…。