パート辞めるかスルーを貫き働くか悩んでいます

いま９ヶ月続けている準深夜のコンビニパートを辞めようか悩んでいます。 苦手な人と2人きりで仕事する機会が殆どなのですが、仕事も覚えてきたし面倒くさいけれどスルーを貫くか、パートだし嫌なら辞めちゃおうかな、と自分自身の中でせめぎ合いが続いています。 ただ、その苦手な人は本当に癖があるので接し方が凄く難しいです。 敬語で丁寧に接すると「気楽な方が好きなんだ」と怒るし、私がミスをして謝ると「過去に謝れば良いやって奴がいて、謝られるのは好きじゃない」という様な人です。 この前、頭痛が酷かった中服薬してなんとか仕事し、「申し訳ありません。今日は体調不良で、でも出来る限り仕事を頑張ります。（人が足りず休めませんでした）」と事前に伝えていたにも関わらず、私の反応が気に食わなかったみたいです。 「なに怒ってんの？」「（私）さんは情緒不安定なところがあるよね！損してるよね！女性だから仕方ないけど！」「俺だってこんなこと言いたくないんだよ！」と怒っておりました。 体調不良は外から見て分からないので、不貞腐れていると思われてしまったようです。 上記の指摘をされているときも「すみません、今日本当に体調不良なんです。」「そうなのですね、すみません。」と伝えていました。 その後、別のバイトの子が出勤してきたので その子に体調不良の旨と、頑張るけどミスしたらごめんなさいと伝えていたら いきなり手の平を返して「大丈夫？」「うつったらうちらが困るんだよね、無理しないでよね」と気に掛けるような言葉を掛けてきたりして。。 なんだか疲れてしまって、愚痴になってしまいました。 家庭の為に今後も我慢して働くか、辞めるか悩んでおります。 皆さんならどうしますか？ ちなみに親族経営のコンビニな上、その苦手な人は親族のため上に伝えても改善は見込まれない状況です。