ハッキリ言える人って好きだから、何とも思わないよ

あやふやな答え方だと、その後もしつこくされそうじゃない？

私もあなたと同じでハッキリ言うから、後々しつこくされたりってのが皆無なのよね

もし私がＡさんにハッキリ言わなくてもって言われたら

あやふやに答えるのは失礼だと思うからって言うわね

相手を思い遣る言い方をすべきです。
「私は行かない」というストレートな表現は、相手が行きたい習い事を否定するように受け取れます。
もうちょっと慮る言い方をしましょう。

Ａさんが「そんなはっきり言わなくても…」と言うなら、Ａさんはそれがキツイと受け取ったのでしょう。
言い方や表情にもよるので、同じ「行かない」でも笑顔で柔らかい口調と、無表情で冷たい口調とでは受け取り方も違ってくると思います。
「行かないかな」でも十分ハッキリしてると私は思います。
「うーんどうしようかな…考えとくね」「それいいなとは思うんだけど…本人がどうかなぁ…うーん、本人に聞いてみようかな」とかと違い、行かない意思はその場で伝わると思うので。
濁すというより、「行かない」の一言でピシャッと断るよりは、「うちは行かないわ。ごめんね」とか「うちは行かないわ。誘ってくれてありがとう」とか言う方が、母親同士のやり取りとしては無難ではないでしょうか。
断る事自体はもちろん悪くないですが、人によっては「何かすごく嫌そうに断られた」とか、「誘った事迷惑だったのかな…嫌がられたのかな」と誤解を生む可能性もあります。

「行かないかな？」も「行かない」もどっちも断ってますけどね...
「行かないかな？」の方が、もしかしたら行くかも...と含みを残した感じではありますが。

そのお母さんは、まさかその場で断られるとは思ってなかった、子どもに聞いてみるねとか考えてくれるような答えを期待していたのかもしれないですね。
Ｂさんにやんわり断られて、トピ主さんにはっきり断られたので、「はっきり言わなくても〜」なんて発言になってしまったんじゃないでしょうか。

まあ、「子どもと相談するね」とか「考えてみるね」とか遠回しに断ったところで、通じないかもしれないですし、行く気がないならはっきり断って正解だと思いますよ。
あとで、「例の習い事の件、どうだった？」なんて引っ張られても面倒ですし。