職場の雰囲気に馴染めない

受付や設備管理のアルバイトをしています。現在フリーターです。
職場は、同世代の人達で回しています。

基本は待機業務なので平日など暇な時は2、3時間くらいお喋りしています。

私はお喋りやコミュニケーションが得意ではないので戸惑いましたが、話題作りなど努力してお喋りはできています。

雰囲気でいうといわゆる陽キャの集まりなのですが、
私は元々大人しい性格で、今までワイワイと騒いできたことがなかったので、私だけ、仲良し！という感じではなく気を遣われている感じになっています。

その中で、私が上手く馴染めていないからか、私と話したくないオーラを放つ人がいます。

その人にとって興味のない話題を振るとつまらなさそうにするし、
興味があったり話したそうな話題を振るとご機嫌になります。

待機業務で、事務所にずっといる必要があるので
基本的にその場から離れることができないので、お喋りしてないと雰囲気が悪くなりそうで怖いです。

その人とシフトが被ると憂鬱ですし、勤務後はすごく疲れます。

仲良くする方法や、対処法などアドバイスいただきたいです。

補足ですが、職場の人で遊びにいくこともしていて、私も誘われるので嫌われているわけではなさそうです。
また、お喋りが苦手なら仕事をしていたらいいと思いましたが、ずっと掃除をしていると、雰囲気が悪くなりそうです。