夫をひとりで外出させてあげたいのに、できません。

30代の主婦です。子供は3歳と0歳です。

既婚の方、配偶者に「たまにはひとりでぶらっとしてきたら？」と言えますか？
私は言えないでいます。
夫がひとりで何時間も外出すると、心が落ち着かなくなり、呼吸するのすら辛くなります。床に座り込んだまま動けません。
ここ1年くらいはそんなに長時間外出することがないので（あっても2時間くらい）私がそんな状態になることはないのですが、やはり長時間の外出に耐えられる自信がありません。
夫の仕事は自営なので、平日はそんなに離れることはありません。

夫は2年前までパチンコによる借金を繰り返していました。
何回か家計から返済しましたが、最終的には任意整理の手続きをとりました。
以降、夫はギャンブルをやめ、残った借金を夜間のバイトで返済していっています。
以前、夫が一人ででかけるときは必ずパチンコでした。
私はひとりで家で待つ間、「またパチンコ？」「お金足りてるの？」「借金また増えてるかも」と嫌な想像ばかりして、上記のような状態で何時間も床にへたり込んでいました。
今も、当時のことが蘇ることがあります。

任意整理してからの夫はほんとうに変わりました。
昼間の仕事、夜間のバイトと忙しいのに、休みの日は家族で外出（外出好きな人です）。私にも、「子供は見ているから、たまにはひとりで出かけてきたら？」と言ってくれます。
私も、夫に同じように言ってあげたい。
たまにはひとりでぶらっとしたいんじゃないかなと思うんです。
でも言おうとすると、嫌な記憶が蘇って動悸がするんです。

こんなことを悩んでいるなんて夫に言えません。
「まだ俺のこと信用してくれないのか」とがっかりさせてしまうと思うので。

最近「精神科に言ったら楽になるのかな」と考えることがあります。
敷居が高く感じるのですが、行くべきでしょうか。