旦那への不信感　旦那の女友達

去年授かり婚をし、現在4カ月になる子を実家で育ててます。
旦那とは今年で付き合って4年目です。
付き合ってる時から、旦那は異性との距離感がとても近く、嫌だなと思う事がある度に伝えてきました。話し合った後は、理解してくれて態度も改まるのですが時間が過ぎれば元通りです。
妊娠中に、私に事前報告なしで同級生の女の子とのみに行ってました。二人です。
そのあと、お祝いを貰ったと連絡くれたのですが、モヤモヤしています。
彼のSNSを見ると、何度も飲みに行こうと誘っていました。
付き合ってる時に、飲みに行った事など聞いたこともなかったので、
きっと黙って今まで行かれてたのかなと考えています。
私はまだ実家で彼は最近新居に引っ越しました。彼が仕事中、私が荷物を新居に持って行った時に違和感があり、その日に電話で聞くと同級生の女の子と男友達と外食後、家で飲んでたと聞きました。
いつ来たかのか聞くと、その日は残り物を食べたと言っていた日でした。
平気で嘘をつかれていました。
なぜ嘘をついたかの問いには育児で大変やのに怒られると思って。とのことでした
信頼関係がゼロでこのままやっていけるか不安です。
子供は可愛くて可愛くて仕方ないです。
子供のために努力してこれから信頼関係を築いていくしかないでしょうか。
彼は子供に会えば可愛い～と言っていますが、離れている時に子供の様子を伺う連絡は一切ありません。