一般職 自信がない

20代後半一般職、正社員四年目です。
勤務態度はいたって真面目で正確さ・スピードが取り柄です。

ただ四年目にもなるのに、職場の人たちとの雑談は苦手で、一言も喋れず笑うのみです。（個人個人では喋れます。）
仕事の話でも、聞かれたことに対してオドオドな対応になってしまうこともしばしば。
本を読んで教養を深めたり、発生練習などもして努力してるんですが、落ち込むことが多いです。

一般職ですら自信が持てず、彼との同棲を機に入力作業がメインの派遣事務に転職しようかと考えてるんですが、甘いでしょうか、、？
今の会社での給与面は手取り15万程なので、派遣と変わりないかと思うんですがどうでしょうか。