初対面の人に避けられます。なぜ？！

昔から初対面の人に避けられることが多いです。
クラスが変わる時期や新しい職場などが苦痛でした。
でも、しばらくすると「こんな人だとは思わなかった」と言われ、わりと誰とでも仲良くなれます。

大人になり新しい人に会う機会もなくそんなことも忘れていましたが、このたび海外に住むことになり、海外で新しい人と出会う機会が増えました。
するとまた同じことが。日本人だけでなく海外の人まで！
国内外問わずみんなの表情は同じです。

私は第一印象で「おとなしい」「かわいい」「控えめ」「女らしい」などとよく言われることが多いです。こんなことを書くと嫌味のようですが、かわいい相手だから照れているとかそんな感じではないようです。男女問わず避けられます。
中身は正反対で男らしいぐらいです。人見知りのために初対面で自分が出せません。自分が出せるまで数ヶ月かかることもあります。
「おとなしいね」と言われれば「そんなことないよ！」と言えるのですが、避けられる意味が分かりません。頑張って話しかけても避けられます。

どなたか分析していただけませんか？
相手が何かを疑っているなら、それを払拭したいのです。