同じ職場の元彼に悩んでいます

去年の始めにデートに誘われ付き合うことになりました。
いい雰囲気で過ごせていましたが7月ごろ人手不足で彼が別の部署に一時的に移ることに。
勤務帯も変わってしまい、休憩やお昼も一緒にいられなくなり、会話も挨拶程度。
もともと連絡マメな人ではなく、最初のうちは慣れない部署での仕事だししょうがないと思っていましたが
週に一回私から連絡をしても出てくれず次の日に職場で会ってもそのことには触れません。
それが1か月ちょっと続いて、耐えられなくなり、そのことを訴えたら「本当に忙しいから無理です、諦めてください」と。
ショックで泣いてしまい社会人としては良くないとは十分に思いましたが体調不良を理由に早退しました。

口をきかない日が続き、あるとき帰ろうとする彼を呼びとめたら聞こえないふりをして走っていこうとするので
追いかけて「もう本気で付き合う気がないならそう言って下さい」といったら「そうですね、やめましょう」とだけいって一目散に帰って行きました。
この時点で諦めがつきましたが、次の日これまでの不満を言うと私が早退した件を持ち出し「公私混同ですね、うんざりしました」との言葉。
話しかけても休みが合いそうだからどこかへ行こうと言っても「また今度」といって取り合ってくれなかったくせにそう言われました。

そして先月になってから急に彼がこちらの部署に戻ってきたんです。幸い勤務帯は別、他の人もいるのでなんともないのですが
どうしても近くで仕事をしなければならない時があると私が近付くのを察して他の所へ逃げていきます。
そして先日、祝日の関係で彼が同じに勤務帯になったんです。
すると仕事量が少ないのに気付いて半休を取って早退、翌日は一日有給を取って休み。
私と一緒に仕事をするのがそんなに嫌なのかと思い、正直いま出勤するのが辛いです。