結婚式に呼ぶ親戚と友達

来年結婚することになりました。ウェディングドレスを着て披露宴をするのは長年の夢だったので絶対したいと思っています。ただ、私は親族と呼べる友人がかなり少ないです。 反対に彼の方は親族がかなりたくさんいるし、仕事関係でもたくさん来て釣り合いがとれません。職場関係も今は働いてないですし、性格が内向的なので友達が少ないです。 一番嫌なのは彼側の親族や仕事の関係者に少ないことを言われてると思うと嫌でたまりません。彼に相談したら気にしなくていいよと言ってくれましたがやはり気になります。 さくらを呼ぶと言ったら世間体を気にしてまったく関係ない人を呼びたくないと言われました。披露宴は諦めた方がいいでしょうか？