ハッキリした理由が知りたい！

これから投稿する内容で嫌な思いをする方もいると思いますがお許し下さい。 私は48歳のバツイチです。 職場で知り合った年下の男性の事で悩んでます。 彼を意識する様になったのは 皆で飲みに行ってそれから連絡先交換して 仕事の会話や愚痴などやり取りをしている内に 距離が縮まって 二人で飲みに行って体の関係をもってしまいました。 その後 彼には彼女がいるのは知っていましたが遊びの関係で行こうと言われ 私も彼の事嫌いじゃなかったのでOK出しました それから数日事 職場 彼と合った時 凄く顔が引きつってて 目付きも 悪く 仕事終わってから どうしたのか 連絡をしてみたら 仕事で気が貼ってる所に 私の姿をみたら 気が抜けた！との事でした その時に 関係は続けられない！と言われ 理由を聞くと… やっば彼女に罪悪感が出てきてしまったと言われたので私も諦めることにしましたが… でも 二人で飲みに行ったり LINEで話たりする事は大丈夫と言ってきました。 そんな事を言われ私の気持ちはモヤモヤしてます。 他にも何かあるのではないかとおもってますが 誰にも話せないし 投稿しました。 厳しい意見が来るのは覚悟してます。 意見を聞かせて下さい。