初出勤！歓迎会に誘われない理由が分かりません

今月よりパートの臨時職員として採用されて働き始めました。初日より、私の耳に職員やパートの女性達に幹事らしき人が「出席できない日に丸を付けてくれ」と回覧板をまわしていました。私以外に職員の方数人も同じ日から異動で来られていたので、「あー歓迎会だろうな」と直感。私には何も話しはないので、パートだからかなと思っていました。３日目のお昼休みにパートの女性から「飲み会のこと聞いている？」といわれて、知らないというような表情をした途端、まずい事を私に聞いてしまったかのような態度をされてその後話しをかき消されたので変だと思いました。そして３日目の帰り、他のパートさんは回覧板を職員に渡しながら「行けません」っと話していたので、他のパートは呼ばれているんだと
思いました。その日の途中から体調を崩して医者より絶対安静をいわれ休養中です。上司には一定期間休みをいただきたいこと、回復してもまた同じことになる恐れもあるのでご迷惑をおかけすることもあるので、辞めさせて欲しいと話したところ、回復したらまたその時
に考えましょうといわれて受付てもらえませんでした。実際病気も初めての病気なので今後どうなるか分からない不安が大きく、無理をして出勤すると後で大きな後悔になるような病気なので辞めたいです。でも前述の私だけ
誘われないという意味の分からない経験をして、また、私以外はお局クラスのパートと職員なので、臨時の私一人だけ誘わないことは悪気のない事かもしれませんが、そういう環境は今まで経験が無く辛いので、この環境が病気にも微妙に影響することもあるので、辞めたいのです。
辞めたい理由を具体的に言えば上司も理解してくれると思いますが、
飲み会に誘われていないと言うことがみっとない気も。飲み会に誘われていたらば、無理はもちろんしませんが、頑張ろうと思うのですが、そうでないので、もういいやって思ってます