言い出しておいてもったいぶる人

私の知り合いのおじさんは、自分から言い出した話題なのに、こちらが会話を続けようとしてそれについて質問をすると、「普通の人にはどうせわからないよ」ともったいぶって絶対に教えてくれません。 また、質問までしなくても、「～～をして、朝まで盛り上がった」と嬉しそうに言うので、「～～して楽しそうで、良かったですね！」と話を合わせて相づちを打つと、「何が良いもんか！仕事が忙しいのに…体調も悪いのに…」と、自分が言い出したことを否定するようなことを必ず言うので、うんざりします。 この間は、昔のバンド仲間がまだ音楽活動をしていて、そのライブに招待された、と言うのでその延長として「今でも音楽を続けてるなんて素晴らしいですね。私の知り合いにも社会人バンドをしている人がいるんですが、良い発散になって楽しそうですよ」と会話を発展させようとしたら、「俺の仲間はプロだから、そんなお気楽な趣味のバンドとは訳が違う！」と怒り出し、疲れました。 私の受け答えがまずいのでしょうか？こういう人とは、どうやってつきあえばいいのでしょうか…。