友達の子供の兄弟

私と私の友達には同い年の子供（うちの第一子と友達の第二子）がいます。家が近くて、子供同士も仲良くなったので よくお互いの家を行き来して遊んでいます。友達の第一子は年が離れているのですが、遊びにくる時はいつも一緒にきます。 でも下の子たちとは遊びが合わないようで、いつも私たち大人の横に座ってDSしながら大人の会話に入ってきます。 行き来し始めた頃は、小さい子たちの相手をさせるのも可哀想だと思って気にならなかったのですが、 毎回ずっといられると話題を選んでしまって、聞いてほしい愚痴が言えなかったり、なんだかあと味が悪いのです。 そんな経験された方、いらっしゃいませんか。 なんとか上のお子さんに、傷つけずに大人の側から離れてもらう方法はないでしょうか。