会話上手になりたい

27歳女性です。
どうしたら「会話上手」になれるのか、教えてください。

きっかけは、４年つきあっている彼氏に
「もっと会話がうまくなるといいんだけどな」っぽろっと言われたことです。
よく聞いてみると、
・つっこんでほしいところにつっこまない（スルーされる）
・漠然とした問いかけ（例：「最近どう？」）が多く、何を話していいのか困る（相手に何を話せばいいのか負担をさせるのはよいことではない）
そうです。

思えば、昔から、男女とわず2人きりになるのがとても苦手です。
どんなに仲が良くても、何話していいのか分からず、沈黙が増えたり、逆に変なテンションで変な方向に話が進むことが多いからです。
数人いれば、誰かの話に乗ったり、誰かが話にのってくれたりするので、気にせず楽しく会話できます。
（たくさん人がいるときは、おしゃべりなほうだと思います。長く付き合っている友人もたくさんいます。）
また、
「何考えているのか分からない（ひとりでどうでもいいことを考えたり妄想していることが多いです）」
「ちょっと不思議なところあるよね」
と言われたことが何度かありました。
どちらも、すごく仲のいい友人に、実は、そういえば…といわれたものです。
それも、もしかしたら会話ベタなせいか…と思い始めています。

どうやったら会話上手になれるのか、
うまく会話が弾むコツを教えてください。