職場で軽口言われるのに、恋愛しています

現在30歳社会人女性です。去年に友人にお見合いを薦められ、そこで縁がありお付き合いを始めました。仕事に誇りを持っていて自信が顔に出てる人なので、自分にはもったいないほどに本当に素敵な人を紹介してもらったと思うし、彼が私を選んでくれたことが本当に嬉しかったです。 しかし、自分は今の職場で勤続10年以上なのに情けないのですが、嫌われています。彼氏と歩いているのを見かけられただけで、職場で軽口を言いふらされ、話もしたことのないグループの人からも、 「あの子、おとなしいのに結構やるんだね。変わってるし。男だけはちゃっかり捕まえているんだね」 とトイレで話しているのを聞いて、怖くなりました。 人間関係が本当に自分は下手で、意地悪されたり、冷たい態度を取られることもあり、本当に悩んでいます。以前入社間もない頃に同期と社内恋愛したことがあったんですが、悪口、噂、軽口を言われてしまい、自分が周りを気にしすぎて相手を逆上させてしまい、別れたことがありました（彼は周りは一切気にしないし、普通に対人関係もこなしていました） 職場だけでなく、趣味などの習い事でも、ただ参加して編み物などをするだけなのに、悪口、軽口言われてしまいます。 どうやったら対人関係がうまくこなせるようになるのか、本当に悩んでいます。基本的におとなしく、無口、仕事はたんたんとこなすタイプで、不器用でもないです。 すみませんがご教示お願いします。