来客の対応

田舎の一戸建てに住んでおります。 90代の祖父がいつも台所にいて、そこは道路が見渡せます。 そして来客の度に、すぐ外に出て対応するように言ってきます。 見ず知らずの人ならチャイムが鳴らされたら対応すればいいと言いましたら、 「チャイムが鳴らされた後に対応するのは失礼だ。」、 「もし泥棒ならどうするんだ。」、 と怒ってしまいます。 顔見知りや宅配業者等なら気づいたら対応しますし、泥棒の件については40年以上前に以前住んでいた場所でスキー板を盗まれたと言っておりますが真偽は不明です。 見ず知らずの人に対して、チャイムが鳴らされてから対応するのは失礼なことでしょうか？ 違うのならばどう説明したらわかってもらえるでしょうか？ 毎回言われて家族は疲弊しております。 ご教示くださいますよう宜しくお願いします。