年下彼氏と別れるべきか？

32歳独身女性です。現在付き合って1年半の29歳の彼氏と、別れるか悩んでいます。

仕事の取引先だったため知り合い、告白は向こうからでした。
家が近かったので、付き合って1ヶ月後から私が週の半分位相手の家に通っています。
お互い周りには内緒で今まで付き合って来ました。

彼氏は受け身で、メールや電話の連絡はこちらからが多く、
仕事で休みが少なく夜の遅い彼は、最近は一緒にでかける約束をすることもなく、
家でご飯を食べるくらいで会話もあまりなくなってきました。

また、付き合って半年くらいのころに飲み会帰りの彼氏が
「上司にそろそろ結婚しろと言われた」と話して来たのですが、
全く考えもしなかったので、流してしまいました。
その後、付き合いが長くなって来たのですが、結婚の話も出ず、
付き合っていることはずっと周りや家族にも内緒のままです。
先日彼の母親が久しぶりに家に来ると言うので、私の荷物を全て一度押し入れに隠されました。
私も出産のことを考えると、そろそろ結婚をしないとと考え始めていたので、
この対応はショックでした。

そこで彼氏に「先が見えないので、このままだと一緒にいるのがつらい」と連絡をしました。
数日後に会って話をすることになっているのですが、
そこで結婚という話にならなければ、別れを選んだ方がいいかなと思い始めました。
このような経験のある方、ぜひご意見頂ければと思います。