セクハラ・パワハラ 辞めるべきか？

当方既婚者（女）、2年ほど前から男性社員が5人ほどの職場でパートとして受付事務の仕事をしています。職場の上司がいわゆる俺様な体育会系で苦手なタイプではありましたが、それ以外は職場環境も良く、当初は楽しみながら働いていました。
が、しばらくしてから色々うーんと思う事が増えてきて、
・ダイエットを始めた際、上司からいついつまでに何キロ落ちなかったら罰として胸を揉むからと言われ、そういった発言が毎日続き、他の男性上司も面白半分便乗してきた。→私は胸が大きく結構コンプレックスだったのでその発言がかなりしんどくて、これは更に上の上司に相談してなんとか収まりましたが、今度は新しく入社してきた方からのまたもセクハラ発言。これもやはり胸に対してで、ジョギング用のスポブラ今日は付けてないでしょ？（付けたら胸が小さくなるので）見たら分かるよ～といった発言にまたまわりが便乗してくるといった感じで、これは本当に気分が悪かったです。軽く愛想笑いで誤魔化していた私も悪かったのですが、別の日に出勤しているパートさん達にはそういった発言はないらしく私だけ。
医療系の職場なので、身体的な事について話題にする事に抵抗がない故に、本人達もセクハラという意識がないのだと思います。
他にも仕事休んだら辞めさせるぞというパワハラ的な発言もあり（偏頭痛でどうしても休む事あり）、遂にメンタル面に支障をきたし始め、昨日どうしても家から出られず泣きながら休んでしまいました。
我慢できず旦那に相談した所、その職場はおかしいし、辞めても良いと言われました。セクハラ発言は嫌と言えば収まるでしょうが狭い職場ではその後が気まずいし、パワハラ気味なリーダーがいる限り私のストレスは無くなりません。仕事は好きですが、職場自体はとても嫌という状況に陥っています。このような職場に残る意味はあるのでしょうか？皆さんのご意見を伺えればと思います。