関わらないほうが良い?

29歳の女です。倉庫でアルバイトで働いています。 働いている倉庫では色々な派遣会社の人たちも働いており、その中の40代の男性と良く話すようになりました。その男性にある日、飲みに行こうと誘われました。場所も決めており、もう一人30代の同じ派遣会社の男の人も誘っていて、私が行く事は私の意思関係なしに決まっているらしく、誰か他に女の子誘ってと当日にいきなり言われました。仲良い子はいるけどいきなりはみんな無理と言うと、私だけで良いとの事。予定もなかったので行き、30代の男性とはその日初めて会いました。 しかし会話は40代の人と30代の人が話して私は聞いてる事が多く、ペットの猫の話を私がすると猫はバカだから犬のほうが賢くて可愛いと40代の人に言われるしまつ。猫好きにそんな事言うなよと思いながら愛想笑いしてました。 会計時には40代の人がいきなり後ろポッケにいれてた財布がないと慌てて探しだし、見つからないので何故か私がその人の分を立て替え。30代の人は自分の分しか出そうとしない。交番に紛失届けだした後、解散しました。立て替えた分は翌日に返してもらいました。 同じアルバイトの40代と50代の女性に飲み会の話をしたら、強制参加で当日いきなりはあり得ない・1番年下に立て替えはあり得ない・猫好きを否定するのがあり得ない・そもそも誘ってるし1番年下に同じ金額払わせるのがあり得ないなど言われその通りと思いつつ、相手は派遣で時給安いらしいから同じ金額は仕方ないかもと言ったら、もう関わるのやめなと止められました。その女性2人にはお世話になってるし、2人とも優しくて大好きなので言う通りにしようかと思うんですが、よく顔を合わすし仕事でもたまに助けてもらってるので完全に関わらないようにするのは申し訳ない感じで。また飲みに誘われているのは断ったのですが、やはり関わらないように上司に相談とかしたほうが良いのでしょうか?