イラつかせる上司

職場の上司が｢俺はできる、天才、カッコイイ｣アピールがすごくてウザいです。 普段はオフィスにおらず、外回りが主なのですが、たまに帰ってきては ｢今日◯◯に行ってきたんだけどさ、みんなに△△さんって声かけられちゃったよ。全然帰してもらえなくてさ、いや参った参った｣ のような話をされます。 毎回同じような話に飽きてきて、3回に1回くらいノーコメントを決め込むと、｢おい無視かよ。人が話してんのに｣と言ってきます。 流石ですね、人気者ですね、スゴイですね などの言葉が欲しいんだなと見え見えすぎてウザいです。 意味の無い話に付き合っていると、こちらの状況そっちのけで話続けられるので、スルーしないと仕事も滞ります。 何が正解ですか？