夫同伴での実家帰省って、気を遣いすぎて疲れませんか？

28歳女です。昨年10月に結婚しました。 実家は自宅から40分程度で帰れる距離にあります。 実家とは結婚前から仲良く、一人暮らしをしていたときは 2ヶ月に一回程度は実家に帰っていました。 ですが、結婚してからは、半年に一回くらいになっています。 もう少し頻繁に帰りたいのですが、以下のような事情でなかなか帰り辛いです。 うちの両親は、結婚した以上は、娘一人で実家に帰るのはダメで、夫婦で来るべきという考えです。 というのは、旦那さんを除け者にしたようだし、家族なのだから同伴でくるのが当たり前という認識です。 ですが、この認識が私にとって、気疲れする原因になっています。というのは、夫は、私の実家に行くのは乗り気ではありません。 （義理の父親に頻繁に会いたい人なんて、そういませんよね。 勿論、正月などは家族が集まるものだという認識なので、嫌な顔せず来てくれます。） 時々二人で来なさいと実家に言われるのですが、夫が嫌がるから私一人で行くとも言えず、断るか、無理に連れて行っています。 （結婚して10ヶ月で2回。正月含めます。） 一緒に行っても、それなりに皆会話を見つけて話すものの、今まで実家で話してきた気軽なトークはできません。 実家では普通の認識だった事が、夫には失礼だったりして、微妙な会話の軌道修正が行われます。また、夫は無口な方なので、私が会話が円滑に回るように振るのも疲れます。 この様に書くと、婿と義理の両親がうまくいってないように聞こえるかもしれませんが、特に大きな問題はなく、割とうまくいっている方だと思います。 私が、実家に一人で気軽に帰るのは良くないのでしょうか。 ちなみに、夫は、一人で実家に帰って全然OKといっています。 このまま実家に帰らないと、私だけ家族と疎遠になって行くようで嫌です。 両親も夫にも不快にさせず、解決する方法はありますか？