甥の自家中毒は私のせい？

甥に怖がられているようです。修復策を教えてください。
実家に甥が遊びにきていて、私がかけた電話に出ました。私もその日に実家による予定で電話をかけたのです。甥の滞在は知りませんでした。

私は外にいたので、声がうまく聞き取れず、状況が把握できず無言になつてしまいました。甥からしたら褒めてもらえると期待いっぱいだったと思います。
やがて父の声に代わったので、声の主を聞いたら甥が出たとのこと。
そのご、実家に行ったら甥が気持ち悪い～、とグッタリしていました。私の電話の後からだそうです。電話で会話できなかったからか、私が来たからか...


私の兄も幼い頃に怖い伯母がくる時に気持ちが悪くなったという話を聞かされていて、もしや私も同じ存在になってしまったのかとショックでした。
確かに義姉よりは頭ごなしで厳しいことも言うし、怖い存在なのは薄々気がついていました。
天気屋なところもあり、毎回しばらく私の様子をみて、大丈夫そうだなと思ったら話しかけてくる感じです。
昨日はしばらくして復活したらしく、夕方は私と遊びました。電話のことも『ごめんね、せっかく出てくれたのに外で聞こえなくてわからなかったの、電話出てくれてありがとうね、偉いね。』と詫びました。


すごい申し訳ない気持ちでいっぱいです。とても可愛いですし、甥も慕ってくれてはいますが子どもなりに絶妙な距離感を保とうとしているのが分かります。
反省したのですが、今後どのように接していったらよいでしょうか？