職場の対人で悩んでいます。

昨年末転職しました。 とても暇で仕事がなくアシスタントとして入った私はあまりやる事がありません。その事自体は別によいのですが、隣に座っている別の部署の人が私の先輩達に、「こんな仕事しないアシスタント見たことない、結婚してるしただの暇つぶしにでも来てるつもりなんじゃない。クビにした方がいいよ。」などと　私の事を言っているのが聞こえてしまいました。 その人はその後も毎日の様に私がいかに不要かを、ある事ない事私の先輩達に話しているのが聞こえてしまいます。先輩達は始めは聞き流している感じでしたが、最近は洗脳されてきたように、「用ができたら携帯に連絡するから出かけてていいよ。」などと冗談ぽく言ったりするようになりました。私なりにやる事を見つけやるべきことは責任持ってやっています。ただ雰囲気を悪くしたくないと思い本人達には何も言えずにいます。 上司は離れた所に座っている為相談しました。上司は先輩達からは私の事をよくやってるとしか聞かないし、関係ない部署の人は無視してもう少し頑張るように言われました。しかし、話しているのが聞こえてきてしまうと辛くなります。皆さんでしたらどう対処されるか教えてください。