お通夜で失敗しました

26歳会社員のメソ子です。

私には交際5年ほどで遠距離恋愛中の彼氏がおり、そのお祖母様が一昨日亡くなられました。
その夜彼から電話があり「明日の夕方○○の葬儀場で通夜だから、明日の朝一で地元(私の住む街)に帰る」とだけ聞きました。

お祖母様は長期で入院されており、私はお会いした事がありませんでしたが、彼のご両親にはいつも大変良くしていただいています。
また、彼はお祖母ちゃんっ子で、話に良く聞いており、是非一度お会いしたい方の一人でした。

翌日(通夜当日)になって「生前はお会いすることは叶わなかったけど、焼香だけでもさせて貰おう」と思い、仕事が終わってから急いで葬儀場へ向かいました。

しかし、退社時間が少し遅くなった事と、葬儀場への道中渋滞していたため、通夜が終わりかけた頃に到着。どうしようかと悩みましたが、とりあえず記帳をし、香典を受付に託けました。
そうこうしているうちに式が終わり、スタッフの方が喪主である彼のご両親も呼んでくださいました。

ご両親は驚かれた様子で、私がお悔やみと遅くなった事のお詫びを伝えると「わざわざありがとう。良かったら線香を・・・」と、式場にあげてくださり、焼香させて貰いました。

そこに彼氏もやってきて、「さっきまで俺も知らなかったんだけど、家族葬だったみたい」と言われたのです！
彼のご両親は「いやいや、メソ子ちゃんが来てくれてきっとお祖母ちゃんも喜んでいるよ」とフォローしてくださいましたが、家族葬に他人がやってきて(しかも終わった頃に)きっとご迷惑だったと思うんです。
勿論その場で何度も、勝手に来てしまった事と遅れてきたことを謝りました。ご両親も彼も大丈夫と言ってくださいましたが、自分の失敗が頭から離れません。

似たような経験された方などいませんでしょうか。ご意見お願い致します。