頻繁に来る義理の両親と夫について

もうすぐ3ヶ月になる息子がいる30代女性です。 初孫フィーバーで1、2週間に一回の頻度で会いに来る義理の両親に困っています。 家の距離は車で1時間半ほどです。 もともと人と会うより家族でゆっくりしたい私の性格と、初めての育児で毎日疲れており（自分で寝られない子で昼間はずっと抱っこです）やっと週末で夫が休みで半分はゆっくりできると思いきや、そっちに行っていいですか、のLINEです。 夫に頻繁でしんどいと伝えましたが、両親に断れる性格でなく、前回は私が断りました。 義理の両親も私達が孫の面倒をみているから、息抜きに遊んでおいでといった感じですが、自分の家に義理の両親だけがいる状況と、息子を長い時間義理の両親に預けている状態にとても気が休まりません。 毎日疲れているのに、その上今週末くるのかと思うと憂鬱で、それが原因かわかりませんが母乳が減ってしまい涙が出てしまいます。 1番つらいのは、夫に相談してもただ険悪なムードになるだけで改善しないことです。 頻繁に会う事が大変だと伝えても、黙ってばかりで、解決しないのです。 ですが私も限界なので、今晩また話し合いをしたいと思っています。 3週間に一度、こちらが訪問して、4時間ほどの滞在であればなんとかやっていけそうな気がするので、そう提案しようと思っているのですが、おそらく夫に少ないと言われると思います。 皆さんにお聞きしたいのは、そんな夫に上手く提案をのんでもらう話し方です。 お力をお貸しください。よろしくお願いします。