障害者施設での職場恋愛

閲覧ありがとうございます
わたしは障害があり、ある施設で同じ施設の利用者の男性と職場恋愛しました

今年の六月からお付き合いしてくださいとあちらからいわれて付き合いました

しかし先月女の子の日が遅れて不安だったので病気で通院している看護師さんに相談してから彼氏に相談したら
話す順番違う
わたしが一番先
といわれて
そんなこともわからないだといわれてしまいお付き合いは無理だといわれてしまいラインも削除しますといわれてふられてしまいました

昨日同じ施設の相談にのってもらっている女の人が通所し彼氏にわたしとどう？と話してしまったらしいのです

そうしたらその女の人がお昼休みに「彼　あなたこと打ち明けたよ」といわれてびっくりしました

その女の人は「わたし口が固いから」といっていたのでびっくりしました

とりあえずなんといっていたか聞いてみると
わたしが被害妄想している

（わたしが不安になるとすぐに他の人にしゃべっちゃうから信頼できなくなったらしく）いまはわたしのことを避けている
といわれました（話をすると無視される）
けれどお昼休みはいくつかテーブルがありますが同じテーブルで食べています（嫌ならもっと離れて食べるのではないかと思います）
～質問～
わたしとしては彼氏と一緒のときはたのしかったのでまたやり直して復縁したいのですが無理でしょうか

また同じ施設の人から避けられるというのはいじめでしょうか
月曜日職員さんに打ち明けたいと思っていますが言わない方がいいでしょうか
鬱を持っている彼氏はいま鬱の症状の真っ只中なのですが施設が移行支援事業所なので就職活動しているので無理をして施設に来ています（ちなみにわたしはてんかん（発達遅滞です））

最悪わたしの方がやめなくてはいけない立場になってしまいそうで怖くてこれからどうしたらいいかわかりません

回答よろしくお願いいたします