彼の家族が居ない時にお家に行きました

大学生同士です。彼から、明日誰もいないし家においでーと言われて、最初は「まだお会いしてないから、誰もいない時に行くのはやめとく」と言えたのですが、大丈夫！全然気にすることじゃないなど、しつこく言われてしまい、わたしもそこで一貫して断れば良かったのに、押しに負けて結局行ってしまいました。そしたら家族の方達が帰って来られて、挨拶をしたのですが、わたしは手土産も持たず、しかもこんな形でお会いしてしまったことに今でも後悔しています。。その後も何度かお邪魔させていただき、こんなわたしを迎え入れてくれていますが、悪い印象しかないと思っています。。そのことがずっと気がかりで、ほんとになんで断れなかったんだろう。と反省しています。 わたしはどうしたら許されるのでしょうか。。