主人の同僚の奥さんとの付き合い

主人は転勤族で、システムエンジニアです。私たち家族は社宅に住むことが多く、良くも悪くも、主人の同僚の家族とのお付き合いが少なくともあります。
春に人事異動があり、共に働いてきた同僚家族が引っ越し、新たに同僚となる人が引っ越してきました。
さっそく仕事の采配があり、前の同僚は新しい同僚に引き継ぎをしていったそうですが、少し難しい仕事があり、慣れるまではうちの主人がやるように上司からも命令があり、今までの仕事より以上に負荷のかかる毎日で、毎晩夜中に帰ってきます。もともと忙しい業界ですが、土曜日もサービス出勤。納期前は日曜も祝日もなく働きます。
春だし、新体制だから、私も子供も少しの間我慢と思っていましたが、本来この仕事をやるべき同僚が、毎晩早く帰って来るのを見てしまったり、その奥様から、土曜はここへ出かけた。とあれこれ話をされ、正直モヤモヤします。そしてもう夏です。そろそろ仕事の割り振りを考え直して欲しいです。
奥さんに対してイライラしても仕方ないので、主人に、仕事の配分がおかしいのではないかと尋ねたら、上司に「手が回りません」と言って、人に仕事をさりげなく押し付ける人だそうで、なんとなくそういう人だというのは分かっていつつも、主人は、クライアントへの納期がある以上、文句を言う暇があれば必死でこなすという毎日で顔もげっそりしてきています。みなし残業手当で、何時間残業しようと毎月のお給料はさほど変わりありません。
社宅って、その家族の行動を見たくなくても知ってしまうところがあって、今普通のアパートに引っ越そうか悩んでいます。
なんで自分の職場でもないのにこんなにイライラしなきゃならないのか、こういう状況の方いらっしゃいますか？