思いやりのない彼氏

初めて投稿します。
私には付き合って1年ちょっとの彼氏がいます。同じ職場の先輩で、週2日は必ず顔を合わせます。その彼氏が思いやりがなく、今後も付き合っていくべきか迷っています。
先日私の仕事終わりに食事に行こうと言われたので、体調不良でしたが会いたいと思ったので「体調悪いから早めに帰るよ」と予め断った上で食事に行く約束をしました。しかしその後、食事に行くのも難しいくらいしんどさが増して来たので、「病院に行くからやっぱり無理」と断りました。しかしバレンタインのお菓子を渡したかったのでそれだけ渡してすぐ帰ろうとしたら、着ていたコートを掴まれ「俺晩飯どうすんのよ」と言われました。私の体調に対して心配する言葉もかけずに自分の食事の心配をする態度に呆れて言葉を失いました。一度食事に行く約束をした私も悪かったのかもしれませんが、こんな思いやりのない人とこれからも一緒にいていいのかとても不安になりました。今回のこと以外にも、食事やお菓子を作ってもなかなかお礼を言ってくれなかったり、彼女だからやってくれて当然と思っている態度を見てきたので、彼の性格上の問題で私が何をしても変わらないんだと思っています。やはり別れるべきでしょうか？職場の人達も付き合ってることを知ってる人が多いため、別れた場合職場の空気を悪くしてしまうんじゃないかとなかなか切り出せずにいます。また、彼の良いところも知っているため後悔することも必ずあると思うので、別れたくない気持ちがあることも事実です。皆さんのご意見を聞かせて下さい。