他好きで別れた彼氏との復縁後について

他に好きな人ができたと去年の冬に振られました。
振られた時にはすでにその人と付き合うまで話が進んでいるようでした。
でも、どっちつかずで、その態度に相手の女性も悲しんだようで、相手の女性に彼氏ができ、結局私のところにすぐ戻ってきて、夏から付き合おうとちゃんと言われて、付き合っています。

現在は6週間に1度くらいお互い実家に帰る以外は毎日一緒にいます。
最近は同棲状態です。

でも、正直なところ、また好きな人ができたと言って去っていくのではないかと毎日不安になってしまいます。
振られるまで、女性関係を全く疑っていなかったので、とても裏切られた気分になり、信用できなくなってしまいました。

同じような境遇な方、いらっしゃいましたら経験談等教えていただけませんでしょうか。
失った信用を取り戻すのには時間がかかるのでしょうか。
よろしくお願いします。