職場の人と雑談ができない

派遣で事務をしている24歳です。 1年半程働いていますが、3ヶ月程前から職場の人間関係がうまくいかず、仕事に行くのが怖くなってしまいました。原因としては、私が職場の人の輪の中に入って雑談を全くしないことだと思います。仕事上のコミュニケーション(報連相)はしていますし、話しかけられたら無下にせず、普通に話します。ただ話しかけられないと話さないし、輪の中にも入れません。 私の職場は和気あいあいとして、賑やかです。私だけ浮いてる状態になってしまって、周りが気を遣っているのか、私がいるとお通夜みたいにシーンとなっています。それが耐えられず、私自身は無言で仕事している方が集中できて、落ち着いてできるのですが、雑談することをすごく求められているようで、しんどいです。 何度か頑張って自分から話しかけてみたりしたのですが、続かず。元に戻るとまた周りも話さなくなります。3ヶ月程この状態が続き、職場の人達がため息をついたり、イライラしているのが目にめにみえてわかりますし、挨拶も無視されるようになったり、職場の人達から嫌われてると思うと会社に行くのが怖いです。 多少の雑談が仕事の円滑油になることもわかっています。でもそれがどうしてもできません。 発達障害(ASD)と聴覚情報処理障害があり、それも少なからず話せない原因だと思います。 私としては1人だけ話の輪に入れなくても気にしません。空気みたいな存在になることも仕方ないと思っています。 今の状況に耐えれそうにないので、少し相談できそうな先輩に雑談がすごく苦手で、話の輪に入れないことを気にしてないので、気を遣わず皆さん普通に話してほしいと相談しようと思うのですが、これがまた気を遣わせてしまうんじゃないかとなかなか相談できません。 相談するべきでしょうか。