離婚後の男性との付き合い方についての許容範囲

今年４０歳バツイチ子供なしです。３月にスピード離婚しました。
結婚当初から色々あったため結果として離婚を選択した事に後悔はありません。
ただ離婚を決めてからの精神的ダメージが自分が思っていた以上に大きい様でなかなか立ち直る事が出来ず、独り暮らしを始めましたがひとりになると涙が出てきたりとまだ元に戻るには時間が掛かりそうです。
それでも前向きになろうと色々頑張っています。付き合ってくれる友人に甘えて週末には飲みに参加したりしています。

そんな中知り合いのお店で昔憧れていた男性に再会しました。
昔は私の好意が伝わっていて意識的に距離を置かれたものの、昔とは違って相手から距離を縮めてくれた感じです。
相変わらず素敵で、しかも言っていた通り今も独身でした。
当時結婚する気がないから結婚したい年齢の女性とは付き合えない、そうなると誰とも付き合いたいと思えなくなっていると言っていました。
私はオーナーと知り合い、彼は従業員と知り合いと言う関係で、そのお店で顔見知りになり会えば一緒に飲みました。それだけの関係なので体の良い断りなのだと理解していました。
元夫と付き合い出してからも時々飲みに行っていましたがその時は全く会いませんでした。
今も彼女はいないそうです。もう誰も相手にしてくれないと言っています。
連絡を取って飲みに出る事はありません。会った時に漠然とした次の予定を確認し確約はせずに別れます。そしてまたお店で会うの繰り返しです。
憧れていた人と楽しい時間を過ごせている事で満足です。その時は離婚した事も忘れられています。ただの逃げかも知れないとも分かっています。
大きな期待はせずお互い良い歳だしなる様になると思っています。
ですがこれを知った友人は最低と言います。離婚で傷ついたのは私だけではない、元夫もだと。それなのにもう別の男性なんて信じられないと。
そんなにダメな事でしょうか。