夫がこのタイプの方、教えてください

トピを開いて頂きありがとうございます。文章が下手な私ですが、どうぞ宜しくお願い致します。
夫（30前半）人材派遣会社の正社員。ある工場（大手）の中で人や現場の管理をしております。ここ最近の帰宅時間は深夜1時～2時。
私（20後半）私はその工場の社員です。
結婚して約1年半。子供はいません。

今年の夏から、情緒不安定で夫婦関係がうまくいっておりません。
何かにつけて夫が「自分は今仕事で精神的に参っている。しんどい」が口癖で、話になりません。
ざっとここまでの私の不満を挙げてみます。

・作業者の女性から「すきすき」メールが発覚した時も、謝罪はありましたが「仕事の都合上、どうしようもなかった」と。
身体の関係うんぬんとかではないですが、ここまで仕事を理由に引っ張ってくるとは…。

・異動に伴い飲み会が増えました。まぁ飲み会も仕事だな…とは思っていましたが、頻度が増えていくばかり。
平日に二人で話す時間さえもろくにとれていない状態で、日曜日が唯一二人休みが合うのにも関わらず飲み会、飲み会、BBQ…。文句を言えば
「俺だって行きたくないけど、こうやって関係をとらないと作業者がうるさい。仕事にならない」「そんなに俺を困らせて、楽しい？」
そして昼から出かけて、夜まで帰ってきません（その間、連絡なし）

挙げだしたらきりがないですが、大体大きいケンカも小さいケンカも理由は大体上記のように仕事が理由です。
そして自分が一番の被害者だという感じを醸し出し、あたかも私が追い詰めてる感じのように面倒くさいような顔をします（それがまた無性に腹が立つんですよね）

このようなタイプの旦那様の奥様方、自分のやり場のない気持ちどう処理していますか？
そして改善方法はあるのでしょうか？