バイト先での振る舞いについて

はじめまして。 僕は今、飲食店にてアルバイトをしているのですが、そこでの悩みについてアドバイスをお願い致します。 飲食店といってもファミレスやファストフードのような活気のあるところではなく、落ち着いた日本料亭でのバイトをしています。 各階にある洗い場にて作業をしているのですが、口下手で勤務中は自分から話題を振ることはあまり無く、無口でいます。 (話を振られたら返し、業務に関わる事柄等は返答しています。) 基本的に5時間勤務なので休憩は無く、周りはいい人がそろっていると思うのですが、従業員の男女比率が9:1と圧倒的に男が少なく、他の従業員同士で会話している中、黙々と作業を続けていることが多いです。 たまに会話を振られ、発展させようと努力はするのですが、途中で終わってしまい、シン・・としてしまう事が多々あります。 基本的には問題なく物事は進んでいくのですが、昔、イジメられた経験があり、他の人が自分をどう思っているかと考えると不安になる癖があります。 ある程度前までは普通に勤務できていたのですが、ある先輩から「貴方の話題は全く出ないし、全然興味の対象にもなってないわ(笑)」等と言われ、心が揺らいでしまっています。 そんな事を言われたのは初めてで、興味の対象になってない→嫌われている　といった感じの捉え方を無意識にしてしまい、「周りからは良くないイメージを持たれているのか」と心に引っかかるようになってしまいました。 周りに同期が居なく、年上の先輩だらけなので基本的に敬語が多く、打ち解けることが出来ないでいます。 長くなってしまいましたが悩みは以下の通りです。 「周りと少しでも打ち解けるためにどのように振る舞い、改善していくと良いか」 です。 別で、無口な態度の後輩に対して悪いイメージを持つか、どの様なイメージを持つかどうかも知りたいです。 よろしくお願い致します。