歓送迎会出席について

今回の歓送迎会なのですが…
自分の中で気持ちが整理できずに、参加するか悩んでます。

理由は異動の事についてです。
異動となったきっかけが自分の同期が不倫により、その所属課に在籍できなくなってしまい、
人事課に勧められた課へ行きたくないと我儘を通し、その結果…自分と交換する形で異動となりました。
自分も異動の理由に納得できないまま異動となり、送迎会ならまだしも…異動の原因の元の人と一緒に歓送迎会をやるのが、正直気に食わないです。

お世話になった人達にも申し訳ない気持ちがありますが、とても参加出来る気持ちになれません。
こういう場合は参加、不参加にするかどちらが理想な形か教えて下さい。
よろしくお願いします。