吃音を抱えながらの就職活動･職種選択

幼少期より吃音を患っている２０代男性･清掃員勤務（入社１年）の者です。 長文失礼致します。ご一読頂けましたら幸いです。 吃音について周りの人達から心無い言葉や嘲笑など心深い傷を負い、やむを得ず中途退学。 その後、昨年よりアルバイトでマンション清掃員として現在就労しております。（午前中の清掃業務を勤め、午後は祖母の認知症介護生活支援などに充て過ごしています。） 職場に慣れてきた頃、作業中に歩道などですれ違う周りの人達から冷たい目で見られ笑われたり、悪口を言われるなど苦痛となり仕事をするのが億劫になっている現状です。 入社後「吃音はみんな気にしていないし、一人では出来ないことも、みんなで支え合えば大きな力になって形になるから、みんなで乗り越えていこう！」とどんな自分も心温かく受け入れてくださる先輩社員の皆様に巡り逢うことができ、落ち着いた環境のもとで勤務させていただいていることもあり、思いがまとまらず… そのようなとても恵まれた環境にいる中で、今在籍している会社を辞め新たな会社にて全日時間帯で働くのか、吃音を受け入れてくれる今の会社と兼業して就労する方が良いのか悩み続け、悔いのない選択をしたい気持ちに決断出来ない日々が続いています。 母親やキャリアカウンセラーは「暫くは掛け持ちして働く方が良いよ」とアドバイスを貰ったのですが、午後時間帯開始の限られた求人数や現在在籍している会社の低月収･交通費用負担などの問題があり… 自分の人生は自分で決めなければならないことは重々承知しているのですが、客観的な率直なご意見を伺いたく質問させていただきました。 心掛けや求職活動の進め方、吃音との向き合い方についてご回答いただけましたら幸いです。 まとまりのない拙い長文となり、お手数やご迷惑をお掛けして大変申し訳ございませんでした。 ご一読いただき、本当にありがとうございました。