パート先での人間関係

現在、週に2～3日飲食店でバイトしてる主婦です。
約10年ぶりの仕事で、慣れないながらも6か月頑張って働いてきました。
今はほとんどミスもなく、仕事的には自信をもって出来るようになりました。
でも一人の上司（私と同い年で女性）と全く気が合わず、
しょっちゅう嫌な思いをさせられます。
例えば、お店は11時オープンなんですが、私が店の外でずっとオープンを待ってたお客様をオープンの3分前に入れてしまい、
その事が気に入らなかった上司は、一緒に働いてる人に、“あいつ馬鹿か！”と言ってるのを聞いてしまいました。
でも私には直接文句は言いません。
私もつい、入れてしまったので悪いとは思いますが、
ずっと待たれてたし、うまく状況が説明できないのですが、
その時の状況の流れからすると、ごく自然な感じだったんです。
でも私もまずかったな～と思い、“お客さんもう少し外で待ってもらった方が良かったですか？”と聞くと、“いや、もう時間的に大丈夫よ”とひきつった顔で！？答えました。
でもその後も、他のパートさんに私の悪口を言ってるのは明らかでした。
そのパートさんが“まあまあ・・”とその人をなだめてる声も聞こえました。
でも私には絶対、直接は注意しません。
陰でコソコソ言ってる感じです。
直接言われなくても、陰で言われてるととっても感じ悪いです。
私の事が嫌いなんだろうなあ～と、仕事は仕事と割り切って働いてますが、なんだかなあ・・・とモヤモヤした気持ちです。
他のパートの人はとても優しく接してくれるので、それだけが救いですが、やっぱり居心地悪いし、その上司の顔見るだけでストレスだし、辞めるべきか悩んでいます。
パート先での人間関係、みなさんはどうですか？