夫が夫婦の貯金を使い込み

結婚１１年目の３５歳主婦です。子供は３人（上から９歳長女、７歳長男、４歳次男）います。
３年前に住宅を購入し、夫（３３歳）の給料では生活のやりくりが厳しくなってきたので週５回パートで仕事をしています。
パートといっても医療職で仕事内容は肉体的にも精神的にも余裕があるものではありません。
仕事が終わって帰宅して子供たちの事や家の事をしていると毎日クタクタの状態で眠りにつく日々です。
昨年、夫に転勤命令があり持ち家を手に入れたばかりで子供達の学校の心配もあったので、夫には単身赴任という選択をしてもらいました。
夫はまとまった休みがあれば月に２回、多いと３回、赴任先から自宅に帰っていました。
帰省代は夜行バスを使って往復1万4千円。夫には家賃代のほか生活費として8万円を渡していました。
私のパート代はほとんどを生活費にあて、自身の小遣いはほとんどない状態で節約しながら夫の給料からコツコツ定額貯金をしていました。
つい先日、夫が定額貯金をこっそり使っていた事が発覚しました。
金額は約100万円強。使い込みの理由は飲食代とパチンコ代との事でした。
彼曰く、家族に会えない寂しさを紛らわすためと。
夫を信じていたからこそ定額貯金の管理は彼に任せていました。
情けないです。まさか自分達夫婦が、という感じです。散々相手を罵ってしまいました。
裏切られた気持ちと、悔しさと、夫不在中の私の苦労を理解されていない虚しさと..。
夫は相当反省しているようですが、ただ私の気持ちが収まらない。
どうして良いかぐちゃぐちゃです。
夫に対する嫌悪感でいっぱいです。
どういった心持ちでこれから夫に接していけば良いでしょうか。
そして今後も単身赴任を続けていく夫の金銭管理をどうしていくべきでしょうか。
ご教示いただければ幸いです。