職場の仲間の家に行くの悪い事？

私には、部署は違いますが、同じ職場の彼がいました。彼が転勤となり遠距離恋愛が始まりました。あまり弱音を吐かない彼が「寂しい」と 言うので電話で励ましたり、急いで会いに行きました。 その時、職場の仲間の男性と女性と私、3人で飲みに行った話をしました。（このメンバーを彼は知っています。私達がつきあっている事は、誰も知りません） その内容は、お店で飲んでて、「じゃー次は、俺の部屋で飲みなおそう」となったので、 そこで、「帰る」と言うと、場も白けてしまうし、他にも女性いるし、その男性には彼女もいるし、当然友達、仲間なので、悪いとも思わず 男性の部屋で飲みました。当然飲んだだけです。 その事を言うと彼は怒り出しました。 私は、彼が彼の部署の人達でスキーに行く事や飲み会に行く事を嫌がったりした事はありません。嫌がるどころか、自分とつき合ったから 仲間達とのつき合いが悪くなったと思われたくない。事も、彼に言いました。なのに、 彼は怒ったまま。「もう寝ろ！」と… 次の日も、怒ったままで、時間より早く長距離バスに乗る事になりました。 そして、帰ってからも連絡はありませんでした。 私がした事は、そんなに悪い事ですか？ 男性の部屋に1人で飲みに行ったのなら、 それは悪い事と思います。しかし今回は、他にも女性がいたし、ただ職場の愚痴を言い合う 飲み会で、浮気とかそう言う感じでは全くありませんでした。 なんで彼が怒るのか全く分かりません。 皆さまの意見が聞きたくて投稿しました。 よろしくお願いします。