招待するゲストは

こんにちは
結婚式に招待するゲストについて悩んでいます。皆様のご意見お聞かせください
私は20代、女です。今年の10月に結婚披露宴をする予定で、準備を始めています。そろそろ招待状を手配する時期なので、メールと電話で事前に打診をしていましたが返事が来ない人、電話に出ない人が4名います。
私は、3年勤めていた会社を2ヶ月ほど前に辞めてしまいました。（理由はいろいろあるのですが、誰かに迷惑をかけてしまって辞めた訳ではありません。）その元仕事仲間から返ってきません。
元仕事仲間を10名招待しようと考えていて、内、仲良くさせていただいていた6人からは返事がありましたが、後の4人はどうしたら良いのかわかりません。先輩、上司なので電話をするにも緊張しますし．．．こうなったら招待状を送らないという選択もありますが、メールした以上招待状を送らないのも失礼なのかと思います
誘っておいて、招待しないのは失礼でしょうか？また、私は気にしないのですが新郎側35人、新婦側20人で人数が違うのは変でしょうか？親の世代にしてみたら気分が悪い物なのでしょうか？