言葉の裏側

トピを開いて下さって有難う御座います。
サービス業で働いている者です。

先日、上司との会話の流れで私が他人との物理的な距離感が近くなるのが苦手だという話になりました。
すると上司から『お前はこの仕事向いてない』と何度も強く言われました。

仕事柄、どうしても相手と接触してしまいます。
勿論、就職する前からその事を理解していましたし、その克服も兼ねて今の職に就きました。
現在、以前よりは他人との物理的な距離感が近くなってもある程度耐えられる様になりましたので、少しずつ改善されたと思っています。

本題ですが、私が皆様に聞きたい事は……
この上司は私に対して遠回りに今の仕事を辞めろと言っているのでしょうか？

上司とこの話をする大分前に何度かこの仕事を辞めさせて下さいと言った時には引き留めて頂いた事があります。
その時の退職したい理由としてはお客様又は同僚のセクハラに耐えられない、その事で仕事が満足に出来ないため職場に迷惑が掛かる等です。
（セクハラについてはその後、それなりに対処して頂いたので現在仕事上では問題ありません）

上司は私に、お前はもっと空気を読め、でも喋る時は俺に分かりやすいように話せと言います。
私自身は空気を読めと言う言葉が嫌いなので、どの様な立場であってもお互いの事が知りたければちゃんとお互いが言葉にするべきだと考えています。
（この件についてはスレチですが、話合う事でお互いが理解できた範囲で相手の考えを読むようにするという結論で落ち着きました）
上司とは色々と考え方が合わない事もありますが、基本的に良好な関係です。

本題は私の考え過ぎでしょうか？
それとも考えが足りないせいなのでしょうか？
まだ混乱しているため、まとまりのない文章で申し訳ありません。
また文章で説明が足りないところがありましたらご指摘下さい。