義父が心配性で少々困っています

私たち夫婦の経済的理由から3、4年ほど前から義両親と二世帯同居をしています。 義父（75）が少々心配性で困っています。 何故かと言いますと帰宅時間がいつもより数時間ほど遅くなっただけで、どこで誰といて何をしているのか？大丈夫なのか？と言った感じで心配になるらしく、義母に私たちにメールを送らせる事が何回かありました。 義母は大らかな人なので二人で出かけてるんじゃないの～？くらいの軽い気持ちくらいにしか思っていないのですが、義父がこんな感じの人なのでやむをえず？私たちに連絡をしているみたいです。 私たちよりむしろ義両親の帰宅時間が遅くなる方が珍しいので、私も同じように心配している事を知っているのか知らないのか、義両親が遅く帰ってきてもこちらにはいつも何も言ってきません。 干渉ではなく心配してくれているにしても一方的だとだんだん干渉されているような感じになってしまって、心配してくれてありがたいはずのことが逆に煩わしくなってきます。 こちらが帰宅時間が予め遅くなることがわかっている日は既に義両親に私が先に言うようになりました。 義両親の帰宅が遅かった場合こちらも聞いてもいいものなのでしょうか？