断る決心がつきません

５歳の息子と２歳の娘がいます。
夫は週末１日と平日１日の週休２日です。

相談したいのは、近所のママAさんと息子さんBくん(小学３年生)のことです。
Aさんには普段からよくお世話になっています。

Bくんは夫が好きで、夫が平日休みのときに上の子の幼稚園バス(丁度小学校の下校時間に当たる)のために外に立っていると、ひとしきり遊んでいきます。
普段から子供たちと遊んでくれる優しい子ですし、私しか立っていなくても挨拶や少し学校での話をしたりしてくれますが、夫がいると嬉しそうです。
夫によると、その後行く公園でもよく会い、一緒に遊ぶそうです。

ですが、最近私が息子にスイミングをやらせたいと言ったら、夫が平日休みの日にプールに連れて行って自分が教えると言い、Bくんとは公園で遊べなくなってしまいました。

Bくんは最初、｢今日は公園行く？｣と聞いてきて、夫が｢今日はプールに行くから｣と断る日々でした。
それが最近｢いいな～、僕も行きたい・・・｣に変わり、夫は｢いい子そうだし自分は連れて行っても良いぞ｣と。
私は、水場は怖いから預からないほうがいいと言い、夫婦共にまぁ子供の言うことだし・・・と気に留めていなかったのですが、
先日Aさんからお願いをされてしまいました。

Aさん宅はご主人が単身赴任で、なかなか会えないそうです。だからBくんはよそのパパが大好き。
特にうちの夫は一緒に遊ぶので、いつも嬉しそうに話していたそうです。それが最近話題に出なくなり、どうしたのか聞いてみたと。
もし迷惑でなければ一緒にプールに連れて行ってもらえないかと頼まれたのですが、これは断って正解ですよね？

普段お世話になっているし、パパが恋しいBくんの気持ちを無視して断るのは冷たいのではとも思うし、Bくんがとてもしっかりしていていい子なので預かっても良いのではと決心が鈍ります。