このままでいいの？

バツイチの私には数年前に出会った内縁の夫が居ます。彼との間には子供も居ます。元旦那との間にも子供が居ます。
内縁の夫との関係で悩んでいます。今から２年前、彼と同居を始めて半年くらいの時に彼と当時同じ職場だった人と浮気されました。その時私は彼との子供を妊娠中でした。いつもは友達と会う、とか、何処に行ってくると告げるのですがその日は、聞いてもちゃんとした返事が無かったので怪しいと思いましたがすぐ帰るよ、と言われたので、まぁ帰って来てから話そう！と思ってました。
でも帰って来たのは翌日の正午。彼の携帯を取り上げて見たら、女と楽しそうに昨晩のことで連絡取り合ってたのです。それを彼に話し、私は子供は１人で育てる、養育費は要らない、と私の意思も伝えました。そこで私の本気度を悟った彼は平謝りして、女とは縁を切り、少し時間をくれ、絶対俺と居ること後悔させないから！と説得してきました。納得はしなかったものの、その後すぐ身内の不幸や出産でバタバタして時間だけが過ぎて行きました。
家事も分担でこなし、仕事もちゃんとして、友達と会う時はわざわざ１度友達を家に呼んでから、友達と出掛けたり、と、信頼回復を頑張ってくれているのは目に見えてわかります。でも２年経った今でも、私はその場に居なかったはずなのに、彼と浮気相手が頭に浮かんでパニックを起こすことがあります。その度に罵声を浴びせ、落ち込み、泣いて、、それが今でも２ヶ月に1回。その度に彼は謝ってくれますが３日間くらいは私が彼を無視してしまいます。
子供にも良くない、彼も誠意を見せてくれてる、彼を信じてあげようと思う反面、２年経ってもこれなら彼と居る限りこうなるのか？と思うと、見切りをつけるべきなのか、と悩んでしまいます。