離婚していることが言えない

40代前半の者です。 数年前に離婚しましたが、そのときの精神的な負担が今も続き、そんな中で世間的な目や噂のネタになることを恐れ、今まで周りに言えずにいます。 （事務処理上、総務と上司だけ報告しています） 数年前から徐々に普段雑談に入らないようにしているので、なんとなく察している人もいるとは思いますが、触れられない間、自分から言う気にはなれませんでした。 しかし、たまにプライベートを聞いてくる方もいるため、適当に「そうですねえ」などいってそのまま家庭があるかとように振る舞っています。 このまま職場にいることもできますが、内心はやはり嘘をついているわけですので申し訳なく、居づらいこともあり転職を考えています。 まわりの方がどうというより、自分が悪いし弱いから逃げたいだけなのですが、今後聞かれたときは打ち明けて自分の居場所を作るのか、転職して心機一転するのか、決めきれずにいます。 誰にも相談することもできず、ここに書いています。 今後を決めるのは自分ですが、 こういう人が近くにいたら、あなたはどのように思いますか？