子供だけでの友人宅訪問について

５歳、２歳の子供が居ます。
ママ友宅にも５歳、２歳の子供が居て、家は歩いて行ける距離にあります。
近所という事で子供同士が遊ぶ仲になりました。
子供と遊ばせる時には、私は親同伴と考えています。
５歳の子供だけの場合は、子供だけでも良いのですが２歳の子供も一緒の時や、２歳の子供同士だけで遊ばせるときには、私も付いて居たいし、付いてきて欲しいのですが、ママ友は２歳の子供を遊ばせる時に「子供だけ預かるよ」のスタンスだし家に来る時も、子供だけ。という考え方です。
私は２歳の子供を、預かったり預けたりは正直怖いです。
何かあっても嫌ですし、オムツも外れていません。

そこで、遊ぶ約束をした時に２歳の子供を行かせる時には「私も行っても良いか」と聞いて、オッケーをもらえば遊びに行っているのですが、そこで心配なのが「私も行っても良いかな？」と聞かれたら皆さん、どう思いますか？
私は普段は「行っても良いかな？」と人に聞くことはしませんし、聞かれるのも、あまり好きではありません。
人のお宅には、誘われて行くものだと考えているからです。もし、聞かれたら「少し厚かましい人」と判断してしまいます。
「行っても良いかな？」を言っている自分が嫌なのですが、２歳の子供だけで行かせるのは心配なのです。
以前、２歳の子供だけでは心配だと伝えた事はありますが、その後もお誘いは「子供だけ」のスタンスなのです。
私、図々しく思われていないか・・・と心配です。
皆さんが相手の立場だったとしたら、どう思われますか？
又、他に良い言葉はありますか？