思ったことをすぐ言う主人にいらいら

結婚５年目です。主人は思ったことをすぐ口に出し、普通の人はそこでそんなこといわないだろうということも平気で言う方で、結婚当初はかなり面食らいました。主人の同僚数名と食事会したときも、みんなが「えっ」と固まるようなことを言ったり。でも主人は「そういうKY発言するやつだ」という認識をされてるらしく、たしなめられたりしてました（本人はきょとんとしてました）

最近はいろいろあきらめてますが、私の親族についてもそういう発言をする（本人の前では言いませんが）ことが多くて、それについてのイライラだけはなかなかおさめられません。
大したことはないといえばないのですが、たとえば私が母と携帯でやりとりしてて母の声が携帯からもれたのをきいて、びっくりしたように私を見て、ばかにしたようにけらけら笑いながら「元気だねえ～」とか。またおばの家に訪問したときも、おばが手料理でもてなし、主人や主人の会社の話題を振って、しきりにもちあげたりしていたのに、帰り際に言ったひことことは「おばさん、すごい顔してたよね」とか。
上記に関していえば、主人の母親は、聞き取るのも難しいほど小声で話す方で、かつ他人に興味がない（親族といるときも、自分の愚痴を語るのみ）、私の親や親族はわりとはっきりしゃべり、「会話」しようとする方なので、そのギャップが大きいのかもしれないですが。主人自身、義母に似てるところがあり、やや小声で口ごもりぎみ、当たり障りない会話を振ることが苦手です。でも相手から自分や会社のことを褒められるのは大好きです。
そういえば、法事の時、私の親戚の男性について親族が噂してたのを小耳にはさみ（契約社員を転々としてるのでもうちょっと落ち着いてほしいみたいな）「そういう持て余しモノっているよね～」とか。
これは「我慢・あきらめるべき」か、「何か主人に言った方がいい」のか。アドバイスをお願いいたします。