お悔やみの言葉を言わないのは失礼になるのでしょうか？

お隣さんに突然の不幸がありました。まだ３０代と若い方でした。 お隣さんとは会えば挨拶、連絡先は交換ぐらいで数ヶ月会わないってことなんかもよくあります。 香典とかは辞退されており、家族葬をおこなわれていました。 会ったときにお悔やみの言葉を伝えようと思っていたのですが、今日数週間ぶりに会ったのですがお互い子どもの通学準備やらでバタバタ。｢おはようございます｣の挨拶が精一杯でいつもなら｢おはようございます｣と言ってくれるのに会釈だけでした。 その後も若干避けられてる？って気がしつつもまだ不幸から数週間だし気持ちも落ち着いてないのだろうと思っています。 そしてお悔やみの言葉を言えなかった私は失礼なことをしたかな…と思っています。やはりお悔やみの言葉を言えない、言わないのは失礼になるのでしょうか？ 突然の出来事だったので伝えることで相手がよけいに気にするのでは…と思って躊躇してしまいます。