友達以上恋人未満の男性

友達以上恋人未満の男性がいます。私は24歳、男性35歳です。
同じ職場で働いており、知り合って5ヶ月経ちました。2人きりで毎週週1で会い、食事や私の自宅に泊まっています。誘いはいつも男性からです。しかし、専門職で仕事が忙しく、1日遊んだことがありません。必ず仕事が終わってからです。今週、土日に会う約束を以前からしていましたが具体的なプランが立っていなかったため、メールをしたら無視されています。気になる相手から誘われたら直ぐ連絡するのが普通の反応だと思っています。いつも男性からのメールは短文で用件だけ。メールが帰ってくる早さは15分から1日です。一方的に男性で止まってしまい、全く話が進められなくてイライラさえします。今回のことで本当は私とは行きたくない、同じ職場だから気を遣ってくれていたのだと思ってしまい、都合のいい女なのかもしれません。

男性は、告白したことがなく全て女性からだそうです。女性には不自由してないと言っていました。実際、とてもモテると思います。
彼を諦めた方がいいのでしょうか？また、今後、忙しい人とどのように関わっていけばいいか悩んでいます。
厳しい意見でも構いません、よろしくお願いします。