どうしても彼氏を疑ってしまう

付き合って3年（半同棲1年、同棲1年）25歳同士の結婚も視野に入れているカップルです。
彼の性格は、俺は悪くないと他責にしがちな性格で、
自分の反省点や思いやりのためのごめんねやありがとうを全く言えないタイプです。

過去、ワンナイト女性からの電話や、女幼馴染との飲み、帰省すると良いことがありません。
その中先日、彼が地元に帰省するといって、数日家を空けていました。
女性職員がいる職場飲み会、小中の女性がいる同級生の集まり飲み会、に参加していました。

彼は思いやりに欠け、昔から私の心配や不安な気持ちのフォローはしてくれません。
言葉で訴えても、自分には全く下心がないから、なぜ言わなくてはいけない　と怒られます。

過去の私の性格にも難があり、束縛を強くしすぎてしまったことが今の彼を作った原因でもあるとわかっています。
そこから少しずつ変わろうと、詮索はしないようにしたり、自分も飲みに行ったり、自分のための時間を過ごすようにしています。
人間なかなか変わるのは難しいですが、少しずつ頑張っています。
また、彼の方も考えてくれたのか、職場の飲み会があった日は、
「弟迎えに来たから、今から帰るよ」とLINEをくれました。

そんな中、昨日何気なく「帰省中、弟君元気にしてた？」と聞き、
「いや、会ってないからわからない。あいつ一人暮しで忙しいからなぁ」と言われ、衝撃が走りました。
あれ？という顔していたら、「あっ、1時間だけ会ったわ！」と言い、
あれ、LINEにはお迎えって…と言うと、「あぁ、迎えに来てもらったこと忘れてたわ…笑」と言われました。
その後「また疑ってるの？」と言われ、信じると決めた私の心が揺らぎ、信じられない私自身も嫌になりましたが、忘れたことで不安にさせてごめんね　というフォローが全くないことに悲しくなりました。

皆様ならどう思いますか？長文失礼しました。