夫の実家の帰省について

そろそろお盆の帰省が近づいてきたので毎年の事ながら嫌な気分になる頃です。
結婚して14年、40歳になります。6年生の息子が一人います。
義実家は田舎で行事ごとをきっちりする家で正月から始まって畑のなわしろ作り田植え、お盆、秋祭りと他にも敬老の日、家族一人一人の誕生日祝いなどをします。
でも私は全ては参加せず、人手を必要とする事だけ行って年に3～4回程度です。
結婚当初は何かと帰省していましたが、義弟が結婚してからは行きたくなくなりました。義弟のお嫁さん(義妹)との仲があまりよくない為、行けば必ず会うので避けてます。お互い気を遣い話す事もないので二人っきりにでもされたら異様な空気になるからです。
義母は明るい誰とでも話す人なので沢山話し掛けてはくれますが、これと言って話が合う事もなく帰りがけに頂く品物も一つでも断れば旦那が断っても何も言わないのに私が断れば「いらんやて～」って聞こえよがしに言われるのが鬱陶しいです。
そういう時は何と断れば角が立たないのでしょう？
義父はすぐに泊まっていけと言うし、居るだけでも疲れるのに泊まりたくはありません。旦那と子供が義実家の近所のプールに行きたいって言うけどその間、私はどうしてようかと思うし。
前に私だけ行かなかった時、義母から電話で何で来ないのとか来なかった時、何が悪いんやろっていつも思うとか半泣き状態で言われた事があります。
それは私の誕生日がちょうどお盆の時なので、自分が行かないのに誕生祝を旦那がもらってきてお礼の電話をした時に言われました。
だけど、義妹に会いたくないからとか言えるわけもないですが、きっと義母も私と義妹が上手くいってない事は分かってるだろうけども相談はできません。
何とかして行かなくする方法があればいいのにと考えていますが、いつまでも家族揃って行かなければ行けないのでしょうね？