異性のアポ無し訪問

はじめまして。ちょっとビックリする出来事があったので聞いてください。 私には長年にわたって仲良くしているグループがあり、最近そのうちの一人といろいろと趣味が合うことがわかり、 ここ１年ほど二人であったりもするようになりました。 彼をＡ君とします。 Ａ君とは仲良くなってからは毎日SMSの交換がありますが、グループの中で気が合うというだけで、異性の友人の域を出ません。 さて今回、お正月の帰省から戻ったら遊ぼうと事前に誘いがありまして、Ａ君と会う約束をしていました。 ところが私が風邪を引いてしまい、土壇場でキャンセルとなってしまいました。 するとその約束していた日、突然Ａ君から「お土産持ってきたよ。部屋は３番目の扉かな？」と連絡が来ました。 Ａ君が地元のお土産を買ってきてくれていることは知っていましたが、突然のアポ無し訪問にびっくり。しかも直前まで寝ていたため（発熱してました）とても人様に会える状態じゃなく、大慌て。取っ手にかけて置くと言われたものの、Ａ君をこの家に招いたことはなく、正しい建物にいるのかもわからず、結局とっさに着替えてマスクして外に出ました。 彼には突然の訪問は無しだよと伝えつつ、ドタキャンの謝罪をしながらお土産を受け取りました。 正直異性の（しかも体調を崩している）相手の部屋に突然くることへ非常識と腹の立つ部分と若干の恐怖を感じる部分もありますが、 ドタキャンしたのは私ですし、彼も本当にお土産を渡すだけで帰っていったのですから、そんなにカッカするのも失礼かと思い、この件にはこれ以上触れておりません。 しかしその後も変わらず連絡が来ていますが、正直今までどおりの距離感で付き合うことへ警戒感が生まれてしまいました。 今後どうやって付き合っていくべきでしょうか。