こんな場合はどうすべき？

こんにちは。気になることがあるので、よかったらご意見をいただけたらと思って投稿しました。私は子なしの専業主婦（職探し中）です。 近所の知人ご夫婦のことです。ある日の朝、奥さんから家に電話があり、「私は今日仕事なんだけど、旦那が休みでヒマなので、（旦那と）一緒に遊んでもらえないでしょうか。」という内容でした。 私はこういうことは初めてだったのでちょっと驚きました。結局、体調を理由にお断りしてしまったんですが、なんだか少しムッとされていたような感じでした。そのご夫婦とは３人で食事をしたことが２～３度あり、旦那様の性格は気さくでいい方なのは知っているので、変な風に考える必要はないとも思えますし、私のこともヒマだろうからと好意的に考えて電話をくれたのかもしれません。でも何か割り切れない気持ちも残っているのです。私の度量が狭いのかなと自己嫌悪になって今だに悩んでしまいます。 私はどうするべきだったんでしょうか。また、今度会ったとき謝った方がいいのでしょうか。