義両親を家に招待するタイミング

30代子どもなし兼業主婦のマリと申します。
結婚して３年になりますが、
義両親が一度も新居に来たことがありません。

近くに住む義両親は共働きで、
休日は毎週日帰り旅行へ出かけています。

義両親へは定期的に私から会いに行っており、
遊びに来てくださいと度々お誘いするものの、
お義母さんは「お義父さんが出かけたがるから…」などと言って決まらず
毎回具体的な話が進まないのです。

夫へも話しましたが、あまり乗り気でない様子。
どうやら結婚当初に朝突然電話がかかってきて
「今から行っていいか」と言われたことが何回もあり、その度に断っている。
事前に約束をして遊びに来て欲しいと言っているのに、
どうしてそういうことが出来ないのかと怒っています。

私もそういう約束なら仕方ないのかなと思ってそのままにしていたら、
義両親が用があって私の実家へ電話したときに
「息子が家に呼んでくれないから…」と度々話しているらしいのです。

一度も来てもらっていないので、
会話の中で家やインテリアの話など出るととても気まずいです。

今後子供に恵まれたらまた誕生日や行事で機会は増えると思います。
今のところはこのまま夫に任せておいても良いでしょうか？
それとももっと私から働きかけたほうが良いでしょうか？