休職中の彼

私の彼氏は今職場での人間関係で悩み休職中です。
うつ病まではいっていませんが一歩手前だったとの事で上司からも休職をすすめられたそうです。（2月から3月末まで）しかし、私と会うときはいたって普通でよく楽しそうに話すし、性欲も食欲もあります。むしろ、休んでいる事で沢山会えるから嬉しいでしょ？とか言ってきます。私はすごく悩んでるのに彼は軽く考えてるような気さえします。

また、私の会社の上司と彼の職場の上司は繋がりがあり、私の上司は私の彼がその職場に居ることを知っています。そして、今度どんなやつか俺が見てきてやる。って冗談ぽくいわれました。それを彼に話すととても嫌がって、付き合ってないって言ってといわれました。私の上司が彼の休職中の事を聞いたら私にあんなやつやめろって言う事と、自分の職場の人にも休職中なのに彼女とか作ってるのか、とか思われるのが嫌みたいです。彼は私が付き合ってる事を誰にも言わずに付き合う事を望んでいます。でも私は将来結婚もしたいし、何だか辛いです。彼の事は好きなのに。

辛いけど別れるべきでしょうか。彼は相談したり安らげるのは私だけと言います。