余り喋ったこと無い人に、「人となり」を決められてしまう。

殆ど個人的な事を喋った事ない（挨拶程度）相手に、想像や印象で私の「人となり」を決められてしまう時、どうしたら良いのでしょうか？

私から話す事が無いため、相手から喋られる事が多いのですが、「○○だよね」という断定が多くて、
ただ観察しての私の印象に過ぎないのでは？と疑問に思う事がしばしば。

例えば、昼食をコンビニ弁当で済ませている様子を数回見たり、チョコレートを食べてるのをたまたま見られただけで
「いつもお菓子食べてるよね、それも着色料多め」「いつもコンビニか外食」などと言われ心外します。

外見が派手に見られがち（服装は地味だが顔立ちが濃い）なのがそうさせるのか？
普段、食材には拘ってるのに、たまたまの目撃情報で、まるで逆の印象をここぞとばかりに言われてしまいます。万事がそんな感じです。

だからといって相手に嫌われているのか？と思えば、基本的に私に関心がある様です。何度も誘われます。
誘いに乗らない私に不服の言葉も吐かれます。
それなら、何故「悪い印象」へ導くのか意味が解らないのです。悪い印象の者に近付きたいなんて普通思わないと思うのに。

悩みは、上記した様に嫌なレッテルを貼られてしまう事。そして、余り関わりたくない相手に執着されている事。
でも、悪循環の様に、関わりたくないので余り話さない→嫌な噂をされてしまう→益々関わりたくないと思ってしまう→、という気もしてます。

悪循環を断ち切る為にも、私は、彼ら（つるんでる男性数名）と折り合いを付けるべきなのでしょうか？
彼らに気に入られれば、嫌な誤解やレッテルは解消するものなのでしょうか？より一線を越して言いたい事言われそうな気がするのですが。

※職場の話ではありません。