大人しそう真面目そうだと、「ぬけがけ」すると思いますか？

中学時代、風邪で遊べないと事実を親友に話したら、「陰で勉強してるに違いない」と
親友とその母親に言われてしまった事が有り、悲しかったのですが
外見が地味な上、勉強せずとも成績の良いクラスにいたので、勉強ばかりしてると思われてた様で
実は、親も驚くほどの怠け人間で、良いクラスにいても、成績表の点数は全然良くありませんでした。

しかし、大分成長し、社会人入試で入った専門学校においても同じ様な事が。
体調が悪く、スポーツ大会を途中で抜けさせて貰いました。
もはや倒れるか・・・と苦しくて仕方が無く、無事帰宅できるのかも不安な位だったのに、
同世代の同性の一部から、「スポーツ大会なんてやってられないよね。自宅でお勉強」みたいな事を言われました。
全くそのような事を考えた事も無い上、あの中学時代のトラウマが蘇り・・・

言って来た人は、やはり私と同じ偏差値受験世代。何でも競争と取られるのか？と悲しくなりました。
これに限らず、学校での勉強の悩みを話したのに、「悩んでる素振りをして、実は人一倍頑張ってる」と
解釈された事も有り。何を言っても、「ぬけがけ」と捉えられてしまうようで、先が思いやられます。

遡れば、学校の入試倍率が高く、受験の時から力の入れようが違った相手です。
リーダーシップ感が強く、いつも中心にいる人。体育会系なので、競争の場に常に身を置いていた様です。
私は、大人しそう真面目そうとのレッテルを貼られています。

ぬけがけなんて考えた事も有りません。寧ろ、競争が苦手です。
別に思うなら思わせておけば良いのでしょうが、声に出されるのが心外なのです。

タイトルとは違いますが、ぬけがけと言われない為にはどうしたら良いのでしょうか？
カラオケや飲み会に付き合うと安心してる様子が伺えますが。