体目当ての可能性が高いとは思いますが、トピ主さんの年齢や
料理の腕（私って料理うまいんだよ、等と職場で言っている）、
趣味（CDをたくさん持っている、園芸やペット）、
雰囲気（簡単にいうとやりやすそう）、等で目的に関する
最終的な判断がされると思います。

押せばなんとかなる、強引に押しかけて（事に及んでも）も訴えられることはないだろう、、と踏んでいるんじゃないでしょうか。

少なくともあなたを女性として大切に思っていないことは確かです。

その同僚は

・恋人でもない異性の部屋へ行くことがどういうことか分からない常識のない人間
・トピ主さんにアプローチしているがその方法が間違っている、常識外れ
・異性関係がかなり軽い

どれかでしょうが　上記いずれにしても少し（かなり）非常識で変な相手という可能性が高いので　部屋に入れない　部屋を知られない方が安全です。
ここで部屋に上げてしまえば

・付き合ってもいないのに男を部屋に入れる軽い女だとレッテルを貼られる（自分を棚に上げて）
・関係を承諾したと見なされて犯される（訴えても自ら入れたので訴えにくい）
・図々しい相手にちがいないので要求がエスカレートして怖いことになる
・金目のものをいつの間にか盗られる（知人の経験です）

自分の経験は関係無く　自分が相手の立場ならどうするかを考えましょう。
自分ならこんなことをしないと思うことを相手がしているのでしたら　価値観の合わない相手です。
深入りをしない距離をおくことです。

　部屋に行く、というとその人の私生活を見るわけですから
すごく接近した感じになりますよね。あわよくば・・ていう下心を抱いているかどうかは、それぞれの男性による、として。これは、トピ主さんが、その男性がどういう感じの行動・態度をとっているかで見極めるしかないのでは。
　どこか遊びに行かない？てことも言われているっていうのは、
デートのお誘いですね。好意を持たれてる、興味をもたれている、
ってことじゃないですか？

でも、「つきあってください」と言わずにはデートに誘えない、というのでは接近のしようもないですよね。その程度に見られているんじゃないか、と心配されているのだと思いますが、どっちが先に来るかは、その人それぞれの考え方によるので、ご自分を責めないように。部屋にあげる必要はありませんが、デートならできるのでは？

　
　そういえば私、異性の友人に部屋の雑用をお願いして手伝って貰い、別れ際に「今度はゆっくりお茶でも飲みに来てね」と言ったら、吃驚された顔をされました・・その時御礼ができなかったので、純粋に好意だったのですが、品の無い女性と思われたのか、気になるー

トピ主さんがどのようなアドバイスをお求めなのかイマイチ分かりません。
「同僚男性が部屋に来たがる目的は何か？」ということでしょうか。
それとも、「この同僚男性に対してどのような対処をすべきか？」ということでしょうか。
ご自身をいい年と言っておられますが、二十代前半くらいでしょうか。

「どこか遊びに行かない？」はデートの申し込みだと思うのですが、「部屋に行きたい」は不躾で失礼だと思います。
身体目的かと聞かれれば、多分それもあるとは思います。ですが、同僚男性はトピ主さんに好意を持っているのは確かなようですから、はっきりとした交際の申し込みをせずに、なしくずしに付き合う方向に持っていくタイプなのかもしれません。

「お付き合いしている彼以外の男性は部屋にはあげないことにしています。」と言ってみてはどうかと思います。「では、付き合ってくれませんか。」と言われるかもしれません。

ただ、トピ主さん自身はしっかりしていた方が良いですよ。その同僚とお付き合いをするつもりがないのなら、「部屋に行きたい」も「どこか遊びに行かない？」もお断りしましょう。

私もそう言われたことあります。
同僚の彼の感覚というか人との距離感が、私とは全く違っていたので
はっきりと「彼と父親以外の男の人は家に上げないと決めてるの」と
言いました。

その言葉に同僚の彼の方がビックリしたみたいで
「そんな意味じゃないのに。誰もそんなこと思いもしないよ」
と、いわれました。

確かにね、彼と私は１６歳違いです。（私が上）
誰がそんな事思うかい、自意識過剰だよっていう話ですが、
近所の目もあるし、これは自分のルールなんだもん。

それに可能性ゼロではないですよ。
何せ私の彼は１６歳年下なんですから。

天然キャラだったらなくもない話だけど
いい大人の男性がいきなり女性の部屋に行きたいと言い出すのは
ちょっと非常識に思えます。

トピ主さんとお付き合いしたいと思うのなら
身体の関係と同じで
お互いのことを良く知ってから
部屋に遊びに行くと思います。

私も一人暮らしの経験がありますが、
一人暮らしと知った時点で
対応が変わる男性が　うじゃうじゃいました。
その度に「私に隙があったのかな？」と落ち込むこともありました。

一人暮らしのことは
極力　伏せておいた方がいいと思います。

みんなと「rasukaruさんの部屋で鍋パーティ！」だったら
好意的に受取れるけど　今回のケースは非常識だと思います。

もし、私が同じような誘いをして付き合ってもいないのにＯＫもらったとしたら、絶対その女性を信用できなくなりますよ。多分あなたを大事にするとかの気持はなくなると思います。言って見るもんだラッキーくらいにしか思いません。