彼氏との家庭環境の違い

閲覧ありがとうございます。
彼と私の家族について相談です。

※身バレを防ぐために一部ぼかします。

私:26歳 彼:28歳で婚活アプリ経由で付き合って1年ちょっとのカップルです。
現在は関東でそれぞれ一人暮らしをしていますが、彼の実家は関西・私の実家は関東内ですが電車で2時間の距離です。
彼曰く、彼の実家の地域は高卒の方が9割を占めるそうです。ご両親と弟さんは高卒ですが彼氏は大学院を出ています。

私の実家は両親・祖父母・曽祖母と同じ職業をしていますが両親は職位が高く夫婦揃ってのそれは珍しいようで周囲からも「特殊な家庭だね」と言われます。
子供の頃から両親の同業の方に会うと「○○(苗字)さんところのお嬢さんでしょ？」と言われていました。
(会社に例えると夫婦ともにそれぞれの会社の社長・祖父が会長をしているようなイメージです。弟がいますが大学留年しています)

先日、お互いの家族の話になった際に自分の両親について話したところ、
・桜のご両親がその職に就いてるのは知ってたけどそこまでの地位の人とは知らなかった。
・俺は大学院出て研究してるけど家族の中で俺が異質なだけ。両親は俺のことを『トンビが鷹を産んだ』と言ってるくらいだし。
・俺の家族が桜の家族に会って恐縮しないか心配だし、逆に桜の家族が俺の家族を見て幻滅しないか不安
・あまりに家庭環境が違うから互いの家族がストレスにならないか不安と言われました。

最初は別れたいための伏線かな？と思ったので別れたいのか確認したところ否定されたので、その線は無いと思いたいです。
私は彼と将来結婚できればと思っているのですが、やはり家庭環境が違うと結婚は難しいのでしょうか？
別に彼の両親・私の両親と結婚する訳ではないですし、お互い実家から離れたところで生活しているので接点もそんなに無いと思っている私は甘いでしょうか？
どうか回答よろしくお願い致します。