以前の職場の同期の結婚式に招待されました。その同期は前職場に同期入社して同じ場所で働いていた人です。一緒に働いていたころは意見の食い違いでぶつかることも多く、親しくしていたとは言い難いです。

私は最近転職をし現在は新しい職場で働いています。土日祝日関係なく出勤があり、シフト制で変則的な仕事のため、日曜日に必ず休みが取れるわけではありません。日曜日は特に休み希望が多いため、転職したてでなかなか上長へ休みの調整をしてもらうのも心苦しい立場です。
招待状の返信が遅いので、同期から「返信まだ？来てくれるんだよね？」と連絡が来ました。休みの希望が出せないこと、シフトが出されるのが7月半ばと結婚式まで日がないことを伝え、やんわり欠席する旨を伝えたのですが、「結婚式って言ってなんとか休みもらえないかな？どうしても来てほしい」とかなり食い下がられています。その後連絡に返信していません。
私としては、人としてそりが合わず職場が変わってもう関わりたくない、転職、引っ越ししたばかりで金銭的に難しい、結婚式ギリギリにならないと休みかどうかもわからない、ということから欠席としたいです。(欠席の返信もしました)
こう言った理由で欠席するのは失礼ですか？
また同期にどう対応すればよいでしょうか？

長文失礼しました。