厳しい生育過程と、遊び人イメージのギャップに戸惑い

親の教育方針や思想から、普通の人に比べても、子供らしい子供時代を送っていず、厳しい生活を強いられて来たのに、
何故か、一般社会や学生生活で持たれる、遊び人（？）イメージとのギャップに、戸惑いや違和感を感じてしまいます。

異性と付き合った事も無かった時でさえ、恋愛経験豊富と言われたり
タバコを吸ったら絶縁される様な環境で育ち、実際吸った事も無いのに、タバコ吸うって。
大体が、もう思い込みで、決め付けて来る。
こんな事が良く有り、イメージも多様なのですが
こういった場合、いちいち事実と反すると論じた方が良いのでしょうか？

説明した所で決め付けてる人の期待感を裏切ったら悪いかしら？と思ったり
決め付けて来る人に説明する時間さえ無駄の様に感じ・・・
でも、自分が損をするのも嫌で・・・どうしたら良いのか解らないのです。

誤解を解くというより、結果を出す事で理解して貰うしか無いかな？と、努力をすると
「あら、意外だわ」と言われ、理解を得て来た様に思います。
その言葉にも、本当は傷付いているのですが。

最近では、誤解を解く為の人一倍の努力が苦しくも有り、悲しくも有り・・・
それにより、自分を見失ってる感も有り、悪循環かなと。

どうしたら良いでしょうか？