振られた彼と同じ職場

同じ職場(というかバイト先)だった彼に振られました。 まだ彼に未練がありますが、ふっきろうと思っています。 そこで、今のバイト先を辞めるか迷っています。 私は彼が近くにいたら忘れられないと思うし、次にいきたいので辞めようと思っています。 でも長い間続けてきたバイトです。 なにより、バイト先のとても信頼できる人(兄弟のように良くしてくれている人)に「寂しいから辞めないで欲しい」と言われています。 元彼にも「辞めないでくれ」と言われています。 元彼はともかく、そのバイト先の人に申し訳なく、いまいち決心がつきません。でも彼に未練があるからこそ、一緒に仕事は出来ません。 皆さんならどうしますか？？ 教えてください。