彼の会社が格下と言われ・・・

20代の会社員です。本社全面引越しの前段階としてまず部門ごとに一時移転を開始することになり、4月から新しいオフィスで仕事をしています。 新しいオフィスビルにはわが社以外の会社や飲食店・コンビニなどもテナントで入居していますが、引越しと決算が重なってどばたばただったので、社内の友人女性3名と地下の居酒屋で打ち上げをしました（それまでの古い本社ビルには飲食店は無かったので、ちょっと覗いてみたいということもあったので）。 そうしたら隣の席に座っていた男性2人組と会話が始まり（お酒が入っていた2人が少し大きな声である映画の俳優さんの名前をうーんと考え込んでいて、同じように少しお酒が入っていた私がつい「○○XX」じゃいないですか、と言ってしまったのがきっかけです）、仕事が一段落した開放感もあってすっかり盛り上がり、特に私はお互いに映画好きという以外にも共通の趣味があることが判って、そのうちの一人と意気投合しました。 それでその店を出た後も何となく話足りない感じだったので「もう1軒どうですか」と言われ、その日にメアドを交換、二回目のデートで交際を申し込まれたのでお受けしました。 ところが、その話を友人に漏らしたところ、同じ部署の人にも伝わってしまい（友人は平謝りしましたが）、それ以来会社の先輩に「やめておいたら？」と意見されています。 理由は、彼の会社が規模も小さく、知名度も低いのでうちの会社に釣り合わないからだと。 ある先輩は「彼の会社が格下だと色々かっこ悪い思いをするよ」。別の先輩はもっと露骨に「（彼の会社の業種が）ダサ！」。 まだお付き合いを始めて本当に間がなくて、これから彼のことを知っいこうという段階でそんなことを言われると腹が立ちます。 付き合う相手の会社の「格」というのはそんなに大事なことなのでしょうか。皆さんどう思われますか？