旅行に行きたがる元夫について

離婚しています、40代女性です。

借金の問題で、今春主人と離婚をしました。
主人は現在、実家で暮らし、生活費は自分の父親に出してもらい、借金返済に勤しんでいると思っていました。

子供が大好きで、毎日のように電話があります。
週末には連絡なしで、家に来たりもします。
さみしいのだろう、と今までの事は黙っておりましたが・・・

先日電話があり、泊りがけで旅行に行こうと、子供に話したそうです。
今の彼の状態では、泊りがけの旅行の費用など出せるとは思えません。
子供に、「お母さんもいくよね」と聞かれたので、「行かない」と答えました。
離婚した夫婦が旅行に行くこともはばかられましたし、何しろ金銭的な余裕がないのです。

「僕だけ行ってもいい？」と子供に聞かれて、迷ってしまいました。
多分旅行は自分の父親も一緒で、元夫はまた父親のお金で全て済まそうと思っているか、離婚する原因となったカードを使う予定だと思います。

もともと、40半ばにもなって、年金暮らしの父親にお金を出させる事が平気な人でした。
今だって住まわせてもらってるのに、一銭もいれずに文句ばっかり言っています。
そんな人と一緒に、子供を旅行に行かせても良いのでしょうか。

確かに父親なので、ある程度の権利はあるはずですが、自分で「離婚届」にサインし、捺印したのに
私が親権を勝手に私に決めた、と後から文句をいう人です。

子供には元夫のような、人間にはなって欲しくありませんし
今、自分達が置かれている状況を（旅行に行く余裕はない）理解して欲しい。
でも、夏休みなのだから、多少の思い出作りは・・・と思う気持ちがあります。

どう思われるでしょうか？