異性の同僚との距離感について

職場の異性の同僚との接し方についてです。 同僚は男性(29歳)で、彼には付き合って約3年、同棲して1年ちょっとの彼女がいます。 私(27歳)と彼は一緒に働いて3年ほどです。小さい会社で、同僚と呼べるのは彼ともう一人の女の子のみです。彼とは趣味も合い、喧嘩も良くありますが上手く仕事しています。 私は最近色んな喫茶店へ行くのにはまっており、そのことを日常会話の中で何気なく同僚にも話していました。先日も、休みの前日に「明日は◯◯って所行ってみようと思ってるんだよね～」と話したら、その時彼ははふーんと聞いていたのですが、夜中に「明日一緒に行きたい」という内容のメールが来て一緒に行く事になりました。 お茶をした後はその流れで本屋を回ったり洋服を見たりして一日過ごしました。 その日だけならば良かったのですが、それ以来、逆に彼の方から行きたい所を調べて来て、毎週末のように誘われるようになりました。やっぱりお茶をするだけでは終わらないので最近ではそのまま映画を見にいったり、何かの展覧会を観に行ったりしています。 単に自分の趣味に興味を持ってくれているだけで、気にし過ぎなのかも知れませんが、彼女もいるのに何だか悪い気がしてこの前は適当な理由をつけて断ってしまいました。 また気になるのが、もう一人の同僚の女の子や上司に「昨日(休日)は何してたの～?」などと聞かれると、何となく2人で会ってたとは言いづらく、うーん、まあね、などと彼も私も曖昧に答えるような感じで、何だか変な空気です。実際、「2人でお茶して映画観てました」と言ったら皆「えっ?」って感じだと思います。 友達にそれとなく聞くと、休日に異性の同僚と2人で遊ぶことはまずないと言っています。 多分彼は何も考えず友達として誘ってくれているのだと思いますが、毎週末異性の同僚と遊ぶのは変でしょうか? それとも私の気にし過ぎでしょうか?