社内恋愛を隠したいのは悪いことでしょうか？

５年ほどバツイチの彼と付き合っています。私30代、彼40代です。
彼は嫁姑問題で離婚し、お子さんは元奥様が育てています。
そんな事情で、（少なくとも）お子さんが成人するまでの約10年は、結婚を考えていません。

社内の同フロア・別部署で、仕事を通して、よく一緒に行動するうちに仲良くなりました。
共通の友人（同僚）は多く、彼の元奥様とママ友の同僚もいるため、私は、彼と付き合っていることは一切周りの人に伝えていません。

でも、彼はあまり隠し事ができない（する必要がないと思ってる？）タイプで、私の営業の予定があると、わざと直帰をかぶせてデートの予定を入れてきたり、自分の出張に私を連れて行こうとしたりして、社内でも噂になってしまっていました。

私は上司から、「こういう噂が立っているので、行動に気をつけるように」と言われてしまい、私が困ると伝えても「なんで？仕事に関係ないし、言いたい奴には言わせておけばいい」と気にしてもらえませんでした。

そんななか、１年前に彼のいた部署が取り潰しになり、彼は全く経験のない職種に異動したのち、会社と揉めて退職しました。
転職先がなかなか決まらず、苦しんだ後、地方にある同業他社に就職することとなり、遠距離となりました。

辞め方もあまり良いものではなく、しかも同業他社へ行ったということで、いま、社内での彼の評判はよくありません。私は「たとえ退職しても、同僚には私たちの関係を隠してほしい」とお願いしたのですが、口では「わかった」といいながら、同僚も見ているSNSで私と行った旅行先の写真を載せてしまったり、とにかく迂闊なんです…

周りにわからないように配慮してほしい、私の会社の人間との付き合いを控えてほしいと言うと「俺の友達でもあるのに。お前は自分の立場しか考えていない」と不機嫌になる彼。どうしたらわかってもらえるでしょうか…私の考えは間違っているでしょうか。