男子学生がやじるわけ

39歳、主婦です。夫と二人暮らしで子供はいません。ここで関係があるかどうかわかりませんが、身長が高く１６７センチあります。 独りで買い物に行った帰りなどに顔を合わせると、同じ団地の不良っぽい高校生（中学生？）の男子にやじられたり、バカ呼ばわりされます。引っ越してきたときに、入り口付近でたむろしていたのをうっかり、挨拶をしようとして、やじられて以来、そんな調子です。昔パート先の男性社員（ヤンキーっぽい）に「くさい」などと言われたことがあり、なにが原因でいつもこうなるのかと、悩んでいます。彼らの心理がわかる方がいたら、教えていただけたら助かります。