根に持っていること

35歳、パート勤めの子供なし。主人は年下の31歳
もう２年以上前の話ですが、ズーッと根に持っているというか主人に対して許せない事があります。
私が妊娠した時の話です。中々胎児がみえず、担当の先生から
(次の診察日に胎児が確認できなかったらケイリュウ流産と思われます)
と言われ、次の診察日まで不安な毎日を送っていました。
診察日の前日、一緒にいて欲しかったにも関わらず、主人は夜中の３時まで飲み歩いていました
結局、ケイリュウ流産と診断され悲しみ耐えながら生活してきました。
それから今まで妊娠できずにいます。
私が根に持っている事は私の不安な気持ちを知っているにも関わらず前日の夜に飲み歩いていた思いやりのない主人の行動です。
一度、主人にその話をしたら
(俺は飲みにいってない)の一点張りです。忘れてしまってるのか忘れた振りをしているのか分かりません
どうしたら、主人の事を許せるのでしょうか？
教えてください。