職場で嫌われます

私（３０）は、求職中です。前職は派遣で一年ほど働きました。
これまで、職を転々としてきました。
営業事務、携帯ショップ、コンビニ、前職の事務（雑務）です。
どこへ行っても、嫌われてきました。
家族と話すときは、気負わず居られます。基本的話さない方で、関心のあることは話したいと思います。
前職で言われてた悪口は、
「気持ち悪い。何かおかしい。あの人の傍通りたくない。いらつく。あの人をがんみしてきた（笑）」等です。
自分で考えた原因は、下記です。
私は自分も人も嫌いで人を信用できません。でも嫌われるのが怖いので、愛想笑い等するんですが、それが気持ち悪い等と人の目に写るみたいです。
人目をいつも気にしてしまい、私の悪口が聞こえると、集中できずミスしてしまいます。
嫌われると思うから、他人が敵に見えます。
くだらないなぁと思う話題を聞くと、ばかにしてしまいますが、内心人と楽しく話してる人がうらやましいです。
雑談も、私は趣味も楽しみもなく、周囲の人を信用できず、気楽に話せません。
話題もなく、どう思われるか人目を気にして、なんて言えばいいか分からなかったりもします。友人も居ないので、対等に気楽に楽しく話すのがどうしたらいいか分からないです。
表面上の会話になります。
昼食を社員ととれず、毎日車で食べていました。

前職では、雑談せず働いてればいいと思ってましたが、リーダーは、雑談をコミュニケーションと捉える人でした。
また、周りの人も、嫌な人と仕事したくないみたいで、雑談して楽しく働きたいと思ってたみたいです。

私はどこでも嫌われますが、働かないと生きていけません。
先天性股関節脱臼をしてるので、事務職で働きたいです。
ですが、悪口を前職で毎日のように言われたので、働くことが怖いです。

こんな人間ですが、どんなことを心がけて働いていけばいいでしょうか？