好きになれません

大学二回生女子です。
付き合って二週間になる彼氏がいます。
とても性格が良くて真面目で優しくて本当に良い人です。
私は今の彼と付き合う２ヶ月前に他の人と付き合っていました。その元彼は付き合う前や付き合った当初は本当に優しくて、一緒にいてとても楽しくて毎日がとても幸せでした。しかし付き合って二週間ぐらいからLINEの返信が冷たくなったり、遊んでても塩対応で手をつなぐことなどもほとんどなくなっていきました。最終的には彼女の私の存在を隠して他の女の子と遊んだり、会うことまで拒まれました。彼の私に対しての気持ちが冷めているとを私は分かっていました。そんな状態で付き合っていても辛いだけだと思い本当に大好きでしたが別れました。
辛い恋を経験し次は自分のことを愛してくれる人と付き合って幸せになりたいと思っていた時、今の彼から告白されました。悪い人ではないし愛されているのもすごくわかるし、絶対幸せになれると思い付き合いました。向こうが愛してくれるならこっちも絶対好きになれると思っていました。
しかし、いざ付き合ってみると優しいだけで一緒にいても楽しくないし、なかなか好きになれず罪悪感を抱いてしまっています。私が話題を振っても、彼は話すのが下手なのか話が広がらず、すぐ無言の状態になってしまいます。無言の状態が続きすぎて本当に辛いです。この前もご飯を食べにいったのですが話が続かなさすぎて早く帰りたいとまで思ってしまいました。
まだ付き合って二週間なのですが別れたいとまで考えてしまいます。こんなに好きになってくれる人はいないだろうに、こんな自分が本当にムカつきます。
しかも、私と彼を合わせて８人の授業のグループがあります。そのグループで定期的に遊んだりするのですが、別れたことによりそのグループが壊れてしまうのも本当に嫌です。これらの理由で今どうすればいいのかわからずすごく悩んでいます。