会話に自信がありません

こんばんは、３２歳・事務職の独身女性です。

子供の頃からの悩みというか、コンプレックスがあったのでそのことについて
アドバイス頂きたくてトピを立てました。

それは「会話が続かず、人間関係も続かない」という事です。
子供の頃から始めは３人で遊んでいても必ず２：１となり相手にされなくなります。
大人になっても相手と話していて気を遣っているが話が続かない、
盛り上がらない、まして親しくなれない・・といった感じです。

今まで人と触れる機会は多かったです、というより多く作りました。
・転職・社内で席替え・習い事・友人の紹介・掛け持ちアルバイト・・etc
しかし人と接して私が感じるのは「話についていくのに疲れた」「どうしてみんな面白いことが言えるのだろう？」「どうして会話が途切れなくって楽しそうなんだろう」と思います。

そんな私にも好きな人やお付き合いした人がいます。
しかしその理由は・・
別れた彼の時は「好きな人ができた。彼女は職場で一番好かれてて、みんなとうまくやっている。君とは違う」と言い別れを切り出されました。
また次に好きになった彼も私を振った理由は「コミュニケーションがおかしい」「KY」というものでした。

私は本当は会話に入りたいのに、楽しくいたいのに！そして気を遣って話しているのにどうして空回りするの！！
会話をして楽しくいたいのに相手に興味を持たれない、輪に入れない。
仲良くなりたい人と仲良くなれない、好かれたい人に好かれない・・。
自宅に戻るとそういう事ばかり考えてしまい、眠りにつくのも遅いです・・。

きっと私の「気の遣い方」が違うのではないか、勘違いしているのではないかと思いアドバイス頂きたいです。
人付き合いが続く方、人間関係にストレスのない方どうかアドバイスをお願いします！！