お金をくれる上司、仕事を辞めたい

転職して数ヶ月の職場です。 特定が怖く詳しくは書けません、ご了承ください。 今の部署は部長と私のみで、想定していたよりも担当する仕事が多く、自ら業務改善をして何とか仕事を定時に回せるくらいになりました。 （明らかに人数不足です） 中途は未経験の方も一律の初任給なので、試用期間が終わったら給料の見直しをお願いしましたが、前例がないから無理だと断られました。 （2人分働いてくれると嬉しそうに何度も言ってきたので、お給料も2人分くださいと言いました笑） しかし、給料日の度に上司から会社としてはお金は渡せないけど、と個人的に大金を渡してきます。仕事改善をしてくれたのは貴方のおかげ、お金は何とかするからやめて欲しくない、と言われました。 断っていたものの絶対に引き下がらないので受け取っています。お金の入った封筒は全て開けていませんが厚みがあるのと、回数を重ねるたびに徐々に恐怖になりました。 ただお金が欲しいのではなく、年収を上げたい思いで仕事をしています。 仕事をこなせばこなすほど、私の業務量も増え、上司の期待が負担になり会社に行くのも億劫になり、精神的にしんどくなってきました。 私のことを気に入っていただけるのは嬉しいですが、明らかに私に良くして取引先や他の従業員のことを馬鹿呼ばわりするので正直かなり辛いです。 少しでも残業をすると、車で送ると言ってくるので残業も嫌になり絶対に定時に帰っています。（ビルを出る時間をズラしたのにエントランスで待ち伏せされたこともあります） 仕事で尊敬できるところがなく、上司に対して信用度がかなり無くなっています。。 もう正直辞めたいですが、たった数ヶ月で転職歴が残ってしまうのが怖いです。 まとまっていない内容で申し訳ありません。 誰にも相談できなくて、精神的に限界です。 もう逃げても良いでしょうか。お金はどうしたらいいのでしょうか。