働いている義理の両親を呼びたい

結婚１年半、もうすぐ子供が生まれます。
どちらの両親からしても初孫になります。

夫のご両親は共働きです。
夫の実家は同県内ですが、車で３時間前後かかります。

でも、孫だから会いたいよね？と私は思うのですが、そういう（孫好き）方ばかりでもないし、
何より働いていらっしゃる方に往復６時間の道のりはご迷惑かな・・・とも思います。
ちなみに実父には「遠いし、別に機会のある時でいい」と言われましたので、すぐには会わないかもしれません。

夫のご両親は大変良い方ですので、是非会いに来てください、と言えば都合をつけてでも必ず来てくださるでしょうが、ご負担にはならないでしょうか。
結婚してから現在までには５度ほどお会いしております。
連絡はお互いの両親と取っております。
（私と夫のご両親が直接連絡をしたことはありません。固定電話が無いので。避けてるとか理由があるわけではありません）

夫は「生まれたら両親にも連絡する」とは言いますが、連絡だけで正式にお招きしないのは失礼ではないかとも思います。（予定日などは知らせてあります）
うちでは自家用車を所持しておらず、夫の実家にお伺いする時は電車で４時間近くかかるので、子供が生まれてもしばらくこちらからお伺いすることが出来ないと思います。
そうすると事あるごとにご両親（自家用車有）を呼びつけてしまうことになるのではないかと思い、心配です。
勝手に来てくださる方が気がラク・・・と言っては世の義家に困っているお嫁様方に怒られてしまいそうですが、レンタカーを借りてでもこちらから伺った方が良いと思いますか？
それともお呼びして大丈夫でしょうか？

実父は「呼ばれてもすぐには行けん！」と言うので（遠いですし、それは気にしていません）、これぐらいハッキリ断ってくる相手だったら悩みもしないのですが・・・