私の職場が嫌いな彼氏

簡潔に伝えると恋人が私のいる職場を死ぬほど嫌がります。 私と彼は営業職で現場は違います。 今私が入ってるお店は元々彼が半年程いたところでお店の人も男女問わず彼に慕っており彼が幹事でお店の人達との飲み会に関係ない私を誘ってくれました。 私は彼が楽しそうに働いてる、話してる姿を見て一緒に仕事できたら楽しそうだなと思い、会社の上司へ打診して同じお店に入ることが決まりました。 ただそのタイミングで彼が実績は良かったもののお店のリーダーからは好かれておらず契約が破棄となりました。 一緒に働く夢は消えましたが彼が繋いでくれた人脈のおかげで今は安心して働けてます。 ですが契約破棄の一件があったせいか彼が｢〇〇がそこにいるの本当に嫌だ、耐えるのが辛い｣とずっと言ってます。 仕舞いには｢僕より職場を選ぶんだね｣と言われました。 とあることがあって彼は少しメンヘラになってしまったのもあり今私が働いてる場所という事実がさらに拍車をかけてしまってます。 私は飲みにも行かないですし、報連相やスマホ見せてと言われなくても潔くスマホ見せれるぐらい一般から見ての嫌なことはしてないつもりです。 ただ私の中だとやはり ・恋人が嫌がってるから場所を変えたい ・せっかくそれなりに好条件でかつまだ日にちも経ってないのにこの職場にいるのに辞めさせて欲しいとか言えない と彼を優先したい気持ちと社会人としての気持ちをずっと天秤にかけてしまってて仕事の日は切り替えて仕事できてますが休みの日はずっとどうしようと悩んでます。 第三者の皆さんから見てどう思うでしょうか、そして答えていただけるのであればどうすればいいと思いますか？ くだらない内容ですがよろしくお願いします。