身内がらみの保険の解約

20年前に保険会社に勤める義理の兄に勧められた保険を解約したくて悩んでいます。
当初は若かったので、なんの知識もなく義理の母に頼まれて契約しました。
それが今や家計を圧迫しており、最近近所の保険の窓口で相談したところ、
もっと内容の良い保険があることを知り、しかも掛け金も安く済むので、
そちらに変えたいと思っていますが、義理の兄に言い出しにくいです。

数年前に家を購入した際に主人の保険を解約したいと申し出たところ、更に高い保険を持ってきた挙句、
それを断り解約すると、嫌な態度を取られるようになったからです。
ここ数年会えばギクシャクした関係でしたが、私も明るく振る舞い少しずつ改善してきてるのに、また嫌な態度を取られそうで憂鬱です。

毎月の保険料は32000円程度で、内訳は、、、
主人 掛け捨て 収入保障（月に15万65歳まで）保険料8500円
〃 医療保険 （5000円入院 三大疾病＋1万円60歳払込終身）保険料4800円
私 〃 収入保障（月に10万）保険料3500円
〃 医療保険（5000円入院）保険料4000円
娘2人 終身保険 保険料金各5000円ずつ

数年前に子供がケガで手術をしたときに、ここの保険からは3万しか出ませんでした。
共済にも入っていて、通院と手術もでたので10万円保険がおりました。
掛け金は毎月500円程だったのに。
それで尚更保険は必要最低限、病気やケガのリスクを考えて入るものだと思いました。

義理の兄にはどのように伝えるのが良いと思いますか？
保険会社に電話をかけても必ず担当者にまわされます。
主人はこの件については前回気まずくなったのでおよび腰です。
でも、20年以上義理で掛けてきたのだし、この際すっぱりやめたいです。