どうしようか迷っています。。

職場の彼との関係で悩んでいます。 職場で同じPJになってから、毎日顔を合わすうちに話すようになり、連絡も交換し週に2、3回、多い時はほぼ毎日LINEをしています。 あとは、定期的に食事に行ったりいずれも何名かで行ってます。 彼からは好意があるような態度や発言が多く、周りの人からもそれは言われていました。ただ私はあまりにもストレートな発言なので冗談や思わせぶり？だと思っていて、私はそうとは思ってもなかったので、すごく嬉しく、そのとき心の中にとめておいた好きという気持ちに気づきました。 とても気があって同じこと思って同時に口にしたり、同じところに行ったことがあるなどの共通点も見つかりました。 ただ私はシングルマザーでとてもいそがしく恋愛のことばかり考えれず、彼も仕事がいそがしくなかなか自分から誘って時間を作ることもできず、関係性が少しずつしか進みません。 ましてやシングルマザーなので、自分からいくのも迷惑なのでは？と思っており、当分はこんな関係でいいのかなと思ってはいるのですが、もっと話したいなと言う気持ちがあるのも嘘ではないです。 同じ職場ではありますが今は顔を合わすわけではないので、LINEや定期的に食事に行くことも、未来がないならそろそろ終わりにしようかな？とか 一旦離れて頭を冷やしたいな、と言う気持ちもありとても矛盾しています。 彼はただ単に職場上の関係として仲良くしてるつもりくらいなんだと思いますが、このままの関係を続けるのか、離れる方がいいのかどうするのがいいでしょうか？