皆と同じように上司を嫌わなければならないの？

上司に快気祝いを渡しました（家族が入院、見舞金いを頂いたので）。 会社で他の人に気付かれないように渡し、上司はその袋を席の後の壁面に 置いていました。 が、ある女性社員が、その袋を朝の電車で持っていた私を見ていたらしく、 興味本位で上司がいない時にその袋を覗き込んでしまいました。 袋の中には快気祝いと、お礼のつもりで小さいチョコレートの包みが 入っていたのですが、「何故コロンが上司にチョコをあげるのか？」 とすごい騒ぎになったそうです（私はその時不在）。 家族が入院した事もほとんどの人に知らせていなかったのですが、 それを説明するよりも「コロンが上司にチョコレートを渡した」 という事が騒動になってしまいました。 私の会社は上司と女性社員の仲が悪く（表面は普通ですが）、何かあると 「取り入ろうとしている」と言われたり、また 私は特定のグループに 属していないので、少しでも目立つ行動をとると、すぐ話題にされてしまいます。 私がその上司の悪口をあまり言わないのも、彼女達の気に 障っていたようです。 私はどうすればいいのでしょうか？