苦手な話題でも付き合うべき？

例えば、芸能の話題、噂話、悪口、恋愛事情話などの話になる時 苦手なので、殆ど聞き役になり、余り発言をしませんが 最近では聞き続ける事でさえ、言葉は悪いですが、嫌な空間に身を 置いた感みたいなもやもや感が残り、 本当はこういった類の話題を避けたい・・・と思ってしまうのです。 こういった場合、話を一方的に変えても良いのでしょうか？スルーしても 良いのでしょうか？ 皆様はどうなされていらっしゃるのですか？