上司への義理チョコ

スーパーでパートとして働いています。

数日前、同僚のおばさんから
「Ａさんグループが、男性社員にチョコをあげる計画をしている。
そのために一人数百円ずつあつめている。
強制ではなくて、任意だから不参加でもいい」
とのことを聞きました。

自分は、任意なら不参加のほうがいいと思いました。
（特にチョコをあげたいほど仕事でのかかわりが薄い社員もいるし、
こちらが忙しかったり困っても見てみぬふりをされて、感謝の念が
もてないので・・）

そこで、お金の立替などされて払わざる得なくなっても困るのでＡさんグループの一人に不参加の旨を伝えにいったんですが

相手「みんなお金を払っているのに、貴方だけ払わないと周りからどう思われるかわからないよ？」
自分「任意だって聞きましたけど。
　任意なら特に参加するほど感謝してるわけじゃないんですが」
相手「強制とはいいたくないけど、任意でもない。
　もう参加のリストに貴方も入ってる。お金の頭数にも入ってる。
　それに感謝は知らないけど、世話にはなってるでしょう。」
自分「それって強制ですよね。じゃあ支払いますよ」
相手「そんな気持ちのこもってないお金受け取りたくない。いらない。
　あと世話になってるのは間違いないからそれを忘れるな」

と口論になってしまいました。

世話になってない（関わりがない）とは言いません。
が、最初に任意だというならこちらだって参加不参加を選びます。
選ばせないなら最初から強制参加にすればいいと思うんです。
（強制といわれて払わないほどではありません）

そして、払わないことで「周りからどう思われるかわからない」だの
「世話になってる意識が足りない、常識が無い」だの言うのはおかしくないでしょうか
それとも行間や空気を読めない私が悪いんでしょうか