２階の人に誤解されているかもしれません

私たち家族は半年前に、今のアパートへ引越してきました。
夫婦と１歳半の子供の３人家族です。

引越した時に、上の階と、隣の人には挨拶をしました。

どちらも同じ位のお子さんがいました。
「子供がうるさいと思いますが、よろしくお願いします」
と挨拶し、「うちも同じなので」と返されました。


会えば挨拶をし、簡単な会話「子供さん大きくなりましたね」などと
関係は普通だったと思います。


ところが昨日、家族で帰宅すると上の階の奥さんが
「先日はすみませんでした、夫の趣味がうるさくてすみません。」
と言われました。
「いえいえ、お互い様ですから」
と答え、家に入りました。

隣にいた夫が
「なんか、苦情があったのかな？うちが言ったと思って謝ってきたんじゃないか」と。

確かに、思い返してみるとそんな風にも思います。
それに、上の階から「トントン」と木槌を打つような音がよくします。

トントンと音がするとは思っていましたが、大して気にしていませんでした。

上の階の人は、感じが良かったので子供が大きくなれば、公園などで会うかもしれないし、
仲良くしたいな、と思っていたので、私たちが苦情を言ったと思われたくありません。


何か良い方法で伝えることはできませんか？
上の階の人は、私たちが苦情を言ったと思っているでしょうか？

よろしくお願いします。