夫への怒り、呆れ、不信感。

長文ですが、誰にも相談できずモヤモヤするのでここで吐き出させてください。
結婚７年目の夫婦。ともに35歳、会社員です。
小1と年中の子どもがいます。

夫の帰宅は元々22時頃でしたが、４月下旬ごろから徐々に遅くなり始め夜中に帰宅したり、同僚宅に泊まったりすることが増えました。
（夫はコロナでの勤務の変更など一切ありません）
なぜ遅いのか尋ねたところ、「漫画を読んでいた」と呆れた返事が。
社会全体が不要不急の外出を控えているのに、何を考えているんだ！と怒ったところ、翌日からは「保険の勉強があるから遅くなる」と言い出し、連日遅い帰宅が続いています。

一度話しをしました。
すると「なぜ外泊がいけないのか理解できない（勉強で遅くなったから泊まっただけだ）」「（私が心配していると伝えても）遅くなっても心配しなくていいから」と自分勝手な言い分ばかり。
全く話が通じません。

実は、結婚して１年経った頃、不倫をされました。その時も夫は自分勝手な言い分で私に離婚を要求してきましたが、私がそれに応えずなんとかやり直し今に至ります。
それからはあやしい行動はなく、割と仲の良い夫婦だったと思っています。

今回の夫の様子がその時と似ているので、十中八九不倫かな…と感じていますが、今すぐ離婚は考えていません。（今回は離婚を切り出されたわけではありません）
それは、今コロナによる休校、自粛生活などが子どもたちにストレスになっているのに、これ以上の心理的負担を与えたくないからです。

なので、かなり譲歩して（納得はいきませんが）遅くなる時は連絡を入れること、子どもが起きるまでには帰宅することを伝えましたが、それ以降も「遅くなる」とだけ連絡が入り、子どもが起きた後に帰ってくる…という日々です。

もうどうすればいいのか分かりません。
ご近所の方にもこんな時期なのに出歩いて…と思われていないか不安です。