最近旦那の存在がとても疲れる

中立の意見をお伺いしたく投稿してみます。
私が職場の人たち（女4.男2）で食事会に行きました。帰る予定時間（23:30ぐらい）を伝えたのですが30分ほど遅くなり夜の0:15ぐらいに家に到着しました。そうすると伝えた帰宅時間より遅く帰ってきたが気に食わなかったのか帰ると旦那が不機嫌でした。数日後に私が謝り仲は戻りました。男の人がいる食事会に行く時は近くに座らないように自分でも配慮して行くのですが、旦那側は一切してくれません。私が配慮しすぎなのでしょうか？

上の出来事が半年前ほどで、つい最近今度は旦那側の職場の人たち（女2.男4）での新年会がありました。その中の1人の女が旦那に向けてハート付きのメッセージ入り加熱式たばこをプレゼントしたり、帰り道15分以上の長電話をしながら帰ってきたりと、私からするととても不愉快な女でした。私は旦那にその女、そういうことをしてきて嫌だからあまり関わらないでと伝えたのですが、いざ新年会の席順をみてみると隣に座っているし、新年会と言いつつこの女の誕生日会も含めての食事会だったようです。そして帰ってきたのは夜中の2時。今から帰るといった連絡もありません。
パチンコで決められた金額を守れないことも多々あったりと異性に対しての価値観が違かったりととても疲れてしまいました。
子供が2人いて持ち家もあり離婚まで決断がいきません。
私が考えすぎ、その女に執着しすぎ、肉体関係までは無いので目を瞑るべきでしょうか？
ちなみになのですが、家事、子育て、仕事16:30まで私は全て1人でやっています。旦那は仕事のみです。大した給料も貰っていないのに家事は2、3ヶ月に一回すればいい方です。
疲れすぎて呆れすぎて分からなくなってきたのでご意見頂けますと幸いです。