同棲中の彼氏のこと

付き合って3年、同棲して半年になる彼氏について相談です。
ここ２週間ほど私のメンタルが不安定になってしまい彼の前で泣いてしまったりして迷惑をかけていた為、(仕事が決まらない事や元々の持病など)同棲中の家に帰っていませんでした。彼にも伝えてありその間は実家で療養しておりました。

つい先日、気持ちが安定したので同棲の家に彼が仕事から帰る前に帰りました。
自分の不注意で彼氏の鞄から風俗のカードを見つけてしまったんです。
本当にショックでした・・。
彼に聞いてみたら行った事を認め、
「ゆきんこが家にいなくて寂しくて行ってしまった。一人だとどうしたらいいのかわからなかった。ごめん、」と。もう行かないと言ってくれましたが、正直この先も信用できるか自信がありません。
別れた方がいいと思う。と私が言うと、
まだ二人で続けていきたいと言われました。

でも、同棲してから求められることもなくなりレスが続いていたこと。
私が自分の病気を理由に家に帰らず彼氏を放置してしまっていたこと。
上記を考えて自分にも悪い部分や理由があったからこんな事になってしまったのだ、と反省している点もあります。
実は同棲する前にも、寂しいという理由から出会い系の女の子と頻繁に連絡とったり会ったりしてました。
その時も話し合いをして自分にも落ち度があったので許してそれから付き合い続けてきました。

今また、彼氏に対して不信感が募ってばかりいます。
直接会うことが怖くなってしまって未だに会えていません。

もう別れたほうが良いのでしょうか？
今回のことは許すべきですか？
これからどうしていけば良いのかわかりません。。