義理で付き合っていたはずの男性なのに・・・

あるサークルで一緒の男性がいました。その方はあまり集団の中で過ごすのが上手でないタイプで（うまく話に乗れない、みんなで盛り上がれない）、私は幹事役が多かったこともあって集まりの間はずいぶん気を遣って話しかけたりしていました。 そのサークルをやめた後は、時々その人からお誘いがあって、会っていました。たいていは複数人で、たまに二人だけで。 二人で会ってみると、気さくで話しやすい人だということが分かりました。いきなりこの状態（サークル外）で会っていたら、彼に惹かれていたと思います。 でも、サークルの時のことを考えると、はっきり言って「義理」で接していた人なので、恋人にするには不安なのです。何が不安なのか自分でもよく分からないのですが、集団における彼の不器用な面が何となく恥ずかしいし、もともと「義理」で付き合っていた人をちゃんと愛せるのかどうか・・・。その人から恋心を持たれているのは直接言われたわけではないですが確認済みです。 相手の欠点が許せないだけなのでしょうか。ご意見をお聞かせ下さい。