予定している店のことを伝えているのでは？
気楽な雰囲気の店だからそのつもりでね、という事でしょうか。
その年齢の男性なら、ごく普通の気遣いだと思いますよ。
感じの良い方のようですね。

まず一般論として男性は違うのでしょうかではなくてその友人がそういう思考とこだわりが有るだけです。
要するに外食程度の場ならカチッとした固めな感じがあまり好きでは無くて、もう少し着崩してリラックスした感じが好きなだけでしょう。これは単に好みの問題ですので、例えばちゃんとしたパーティならドレスコードに沿ったフォーマルな装いが求められますし、シチュエーションとかけ離れてなければ通常は問題無いことです。
結局トピ主がカジュアルな装いが好きじゃ無いとか苦手で気が進まないのなら断れば良いだけではないでしょうか。

その方はどんな服装で来られるのですか？
トピ主さんと合っていますか？
男性だとかなりおしゃれに敏感でないとトラッドスタイルは難しいと思います。
本当はもっとラフなスタイルで行きたいけど君はラフじゃない。
だから困っているんだよ…君もラフにしてよという意味なんじゃないでしょうか。

ドレスコードのあるようなお店に行かないよということを暗に伝えてるんだと思います。

綺麗めの服装でも問題ないと思います。

一般には「夜の食事だからと言って気を使ってドレスアップしなくていい、気楽な服装で来ればいいからね。」という気遣いの意味だと思うのですが、

トピ主さんの場合は「何を着ても綺麗目になる」から「すごくお洒落な格好で来ている」と彼は受け止めていて、「こっちが気詰まりだからそんなにお洒落して来ないで。」と言われているということ？
まさにトピ主さんの格好が「カジュアル」ではないかと思うのですが。

よくわからないなあ。

基本はもちろん「何を着てもいい」けど、男女問わず気にするなら「店と服装の釣り合い」「自分との服装の釣り合い」だと思います。

いくら「好きなものを着る」と言っても、カジュアルな店で男性もカジュアルな格好なのに、女性が一流ホテルのディナーのような格好で現れたら一緒にいる男性も困るだろうし。
そういうミスマッチを防ぐための、事前の事務連絡じゃないかな。

さらには「ドレスアップの必要は無いよ」ということに加え、「ドレスアップするような高級店に行くわけじゃないけど」という事前の断りの意味もあるのかもと。
夜の食事に誘われてどんな高級店かと期待してドレスアップして行った挙句に「そんな高級店ではないじゃないか、ここまでお洒落して来たのに」となると誘った方も気まずいから。

「今回もいつも同様のカジュアルな格好で来てね。わざわざドレスアップしなくていいから。」と言っているだけのように思えるのだけど。
その男性自身はどういう服装で来るの？

　それがあなたにとって気楽な格好ならば、それがあなたのカジュアルです。気にする必要はありません。あなた自身が気楽に感じる格好でいいですよという声がけですから、相手が男でも気にいなくて良いですよ。
　もし相手が気にしているとすれば、あなたが無理をしているのではないかと誤解をしている場合です。あまり頻繁に言われる様であれば、自分が一番気楽な格好はこれですよと説明をしておきましょう。

　ハイキングやアスレチックの様なアクティブな行動を伴ったりや汚れやすい場所に行く場合は、ジーンズやスニーカー等の動きやすい格好を意味して「カジュアルな格好」と表現されることがあります。その場合には汚れては困る綺麗な服や動きにくい靴では空気が読めないと思われますが、食事が目的なら違いますよね。あなたがカジュアルだと思う格好が本当のカジュアルですよ。

　ただし逆の意味の可能性もあります。
　例えば本人にとって気楽な服装でも、混んでいる大衆食堂や煙モウモウの焼き鳥屋に白いドレスで入る様な人では「もっとカジュアルな服装にしてほしい」と表見されます。この場合は気さくなお店の雰囲気に合った服装という意味で「カジュアルな服装」と表現しているので、「気を使わなくていいよ」ではなくて「もっと気を使え」という意味です。この可能性は注意して下さい。

　周りに気を使えではなくて、もっと気楽な服装で良いよという意味で服装の話をされたのであれば、あなたにとってのカジュアルで構いませんよ。