興味があっても好きにならない

20代後半女性です。 私は元々他人に関心が薄いタイプなのですが、長年異性を好きになったことがなくこのままで大丈夫か不安になる時があります。 職場で全く関わりのない男性でも雰囲気に惹かれて「この人かっこいいな」「何となく気になる」ということはあります。ですが自分からアクションを起こすまでには至らず見かけたらラッキーぐらいの気持ちで終わるのです。 昔から容姿にコンプレックスがあり苛めを受けた経験もあるため、男性が怖くてずっと避けてきました。一度くらい追いかけたくなるような人に出会ってみたいですが、こんな自分を好きになる人なんていないと諦めています。 アセクシャルという言葉もありますが、私が異性に恋愛感情が抱けないのは他に何か原因があるのでしょうか？