元カレが実家に来ていました

もう8年前くらいに別れた元カレですが、別れてから最初の1～5年は年に2～3回程度電話が来たり、メールやLINEがあったり、家まで来てしまう事がありました。（家まで来てしまった時は、顔だけ見れば帰ると言われ、顔を合わせた事もありましたが、少し話をして帰って行きました）近年はメールアドレスも変え、LINEもブロックしており、それを察してか電話もかかってこなかったので安心していたのですが、先日、散歩に出掛け、帰宅した際に、わたしの実家の敷地内（外にある駐車場）から元カレがひょっこり出てきました。かなり戦慄だったのですが、元カレの方がバツが悪そうというか恥ずかしそうな様子でごめん、ごめんと謝るので、責める事ができずたわいも無い会話をしてしまいました。
元カレはそそくさと帰って行ったのですが、後から怒りや恐怖感や嫌悪感が襲ってきており、どうしたら良いのか悩んでいます。
実家に迷惑がかかるようなことがあったら？わたしが知らないだけで、しょっちゅう来ていたのか？
どんどん不安になっています。
わたしは今、何をすべきでしょうか。
または何もしない方が良いのでしょうか。