初めてお友達のお家に遊びに伺います

トピ開いて下さりありがとうございます。
３０代主婦、おかめと申します。

来週の平日、５歳の娘が同じクラスのお友達のおうちに招待され伺うことになりました。誕生日会とかのイベントではなく、単純に一緒にあそぼ、的なものです。

私自身、あまり人づきあいが得意でなく、学生時代からの友達はいても、子供つながりで知り合ったママ友はおらず（顔見知りのママは何人か・・・）近所の子と遊ばせる時は、公園などで会った時それぞれ時間の都合が合えば遊ばせる感じでした。
なので娘がお友達の家に約束して遊びに行くというのは初めての経験です。

普通に人様の家を訪問する際は、近所で買ったケーキなどを持参しますが、子供が行き来するような普段のあそびでそこまでしたら相手の方が負担に思われるのでは・・・とか考えてしまって。

そこで、どんなことに気をつけたらいいか、また普通どんなふうにふるまうものなのか教えていただきたく思います。

やはり手土産は持って行った方がいいのでしょうか。子供のおやつにする市販のクッキーとかとお茶・・・でいいですか？
というか、そもそも私も一緒にお宅に上がっていいのでしょうか。
その子の家は車で１０分くらいのところです。
園が終了してからお伺いし、夕方５時過ぎにはお暇しようと思っています。

その子のママとは参観日や公園、スーパーで会って少し立ち話をしたり、何度かメールをやりとりしたりする程度で特別親しいわけではありません。
話が続かなかったらどうしよう・・・。

どんなことでもいいです、普通にお家を行き来して遊ばせてるママの方々、どんな感じで過ごすものか教えてください。
こんなつまらないことで悩んでしまい情けなくて恥ずかしいのですが・・・よろしくお願い致します。