同僚にかわいいとばかり言われて

先日、会社の飲み会に参加しました。
私の会社は同世代が多く（２０代後半～３０代前半）勤めて４年目になります。
その会に同席した人たちの半数は多部署ですが仕事での絡みもあります。
私は会社でとても人見知りですので、仕事上以外で同僚と話す機会はそうありません。こういう飲み会に参加したときにしかゆっくり話さないといった状況です。

その席で他部署の男性の返しが、なんでも「かわいい」なので困っています。

その人は特に私に好意を持っている様子ではありません。
他の同僚への態度を見てもとても褒め上手な人のようです。

仕事の軽い相談をしても「かわいいから大丈夫だよ！」と意味の分からないことを言われました。
馬鹿にしてるの？と返す勇気もなく、そんなことないよ、と言ったらその話は止まり違う話になってしまいました。

これは、仕事上ではあまり褒めることがないといった意味なのでしょうか。

大人数でしたので他の輪でも話し、またこの男性のいる輪に戻ってきた際にも同じことを言われたので、
「もうお世辞はおなかいっぱいだよ～」と言うと
「そんなに言われたのかよー！」と、また返事に困ることを言われてしまいました。
謙遜の仕方を間違えてしまったのかと反省しました。

私は私生活では同性異性含め、友人が多いほうだと思いますが、容姿を褒められるのははじめだけで、仲良くなると、そう褒められることはありません。人見知りなので仲良くなってからでないと上手に自分のことも話せません。どちらかというとそういうタイプの人とは仲良くなってこなかったのだと思います。
その褒め言葉ばかり、ということは仲良く打ち解ける気もないのでしょうか？

もう少し会社で働き易くなるために社交的になりたいのですが、なかなか私生活のようにいきません。

まとまりのない文章を読んでいただきありがとうございました。
ご指南頂ければ幸いです。