上司や同僚にモヤモヤしています

私の職場では月に1回、全社員が集まり、連絡事項の伝達や業務内容の見直しを話し合う会議を行う日があります。
交代制で勤務する職場なので、その日が休日や就業時間外となる人には研修費といったものが支払われます。強制ではないですが、やむを得ない理由がない限りは参加してくださいといった感じです。

先日、同僚と私がその会議の日は休日だったので、休みの日に出てくるの嫌だよね、と何気なく話たんですが、その同僚が「私は上司から『あなたは家が遠いから研修費がいらないならわざわざ出てこなくていいよ』と言われたのでガソリンも時間も無駄だし来ない。自分も嫌なら上司に休みの日は来たくないと言ってみれば？」と言ってきたんです。行きたくないから参加しませんなんて、幼稚な理由が通るわけないじゃないですか。
その同僚は、最近片道1時間ほどかかる所へ引っ越したんです。

同僚も黙っていれば分からないことをわざわざ言ってくることにイラッとしたり、家が遠いから来ないは理由になるのか？と疑問に思い、ずっとモヤモヤしています。とはいえ、退職する人が出勤最終日だからと言って、休みの日に会いにきたりしていて、それは来るんかいって感じでした。
上司もただ気遣って言っただけなんだとは思いますが、それを言うなら他の休日で出てくる社員にも言うべきでは？それは特別扱いじゃないのか？自分が賃金払っているわけでもないのに、そんな判断勝手にしていいわけないのに、と不信感しかありません。

みなさんはどう思われますか？2人が言っていることは全く理解できないわけではないですが、そういうことは分かっていて引っ越しているよね、と思ってしまいます。私の心が狭いんでしょうか？
愚痴みたいになってしまいますが、気持ちのやり場がなく、投稿しました。