子供が友達の家に遊びに行ったら必ずこちらも誘うべきですか？

こんにちは。

5歳のこどもが保育園に通っております。
今までは「お家に誘われたら、次回はこちらが誘う」が礼儀と思ってご近所のお家とはそうしていました。ご近所なので子供だけの行き来で親は同席しませんでした。

先日子供同士で約束をして、お友達のお家に遊びに行きました。少し距離があるためその時には先方のお母様が車でお迎えに来てくれ、帰りは私が自転車で迎えに行きました。

楽しく遊ばせて頂き、次回はこちらがお誘いしたいと思ったのですが、私は車の運転ができません。自転車で迎えに行って２人乗せてくるのは難しいし、お子さんだけ連れてきていただいてお母様はお帰り頂く・・・というのはおかしいですか？
私はおしゃべり上手ではないので、お母様も家に上がって頂くとなると会話が持つかどうか心配です。（普段は立ち話程度はする関係です）

遊びに伺ったのは１度のみですが、上記の理由でなんとなくうちに誘えずにいます。
この先もおつきあいを続けたいお相手なのですが、誘わないでいるのは失礼でしょうか？