旧友の結婚式、披露宴に呼ばれて悩んでいます

２年くらい会っていなかった高校の旧友に｢久々に会おう｣と誘われ、そこで式に呼ばれました。最初は嬉しかったので、行くと返事をしてから話を聞いていると、他に呼ぶ友人(４人)は高校時代の同級生なので私も顔は知っていますが、卒業後私とは一切連絡をとった事はありません。高校時代に一緒に遊んだ事もありません。お互いがそうなら良いのですが、悩んでいるのは新婦とその４人はとても仲が良く大学～現在もよく遊んでいます。そこへ普段疎遠な私が入っても、共通の話題もないし浮きまくりだな…という事です。
披露宴、２次会の幹事もその４人に頼んでいるらしいので、いっそのこと一緒に手伝うよ！と言って4人の仲に入れてもらおうとも思ったのですが誰一人携帯番号すらわかりません。
披露宴会場では多分同じテーブルでしょう。余興も結構考えているらしいので、その4人でするんでしょう。１人テーブルに残された私って…と考えているとブルーで、嫌になってきました。
こんな場合、式～披露宴は我慢するとして、２次会、断わっても大丈夫ですか？行くべきですか？断わる場合何と言って断わるのがいいんでしょう？長くなってスミマセン。