非常識なことをしてしまった。謝罪するべきか。

小学生になったばかりの子供と3歳の子供がいます。自宅の目の前に、上の子と同い年の子がいます。 先日、休日に家の前でうちの子とそのお家の子が遊んでいました。 そこのお家は奥さんが出たり、旦那さんが出たり…しながら子供を見ていました。 そのうちに子供達がゲームを一緒にやりたい！と言い出しまして、旦那さんが「午後うちでやっていいですよ」と言ってくれたのでお邪魔することに。 で、旦那さんが子供に「お母さんが午後出掛けて2〜3時間いないから〜」と話すのが聞こえたのと、指定された時間が14時半から15時頃だったので奥さんが帰ってくる頃の時間なのかな？と思ってしまったんです。 というのも、まだ6歳になったばかりで、今まで子供だけお家に託すことをしたことがなくて、その認識がまだ抜けておらず勝手に私も見守りすると思っていました。 私も買い物に出ていたので、指定時間あたりに奥さんに「突然お邪魔することになってすみません。もうすぐ伺います」というようなラインを送ったところ、「こちらこそ休日にごめんなさい。今子どもたちを夫に任せて出ていますので急がなくて大丈夫ですよ」云々と返信がありました。 まだ帰ってきてないか…と思いつつ下の娘も連れて、上の子供を送り届けたのですが、下の娘が遊びたがりまして。そしたら旦那さんが「あがりますか？」と声をかけてくれたんですよ。このときに、断るべきでした。 ただ、この時は完全に奥様もすぐに帰ってくると思っていたので下の娘も一緒に遊ばせてもらい、そうなると必然的に私も娘の付き添いであがらせて頂くことに。 私は、ゲームをする子供達を見ながらその家の兄弟や娘と遊んでました。一時間位して奥様が帰ってきまして、その後1時間半ほど普通に話しをして子供も楽しく遊んで終わったのですが。今更、非常識だったと反省しています。次の日も特に変わりなくでしたが、謝罪するべきか悩んでいます。