私なら応じませんね。

はっきり「二人で行きませんか？」と明言しているということは、下心があると思うべきです。といかそこまで想定しておいたほうが良いでしょう。
それを承知で覚悟して返事するようにという事前の配慮だと思っていいでしょう。
誘った側に下心があるとしたら、いざとなってゴタゴタしないよう、合意の上で行きたいということなのでしょうね。
まずはジャブを打って相手の出方を探っている時ではないでしょうか。

嫌だと思うなら「二人だけでは行きにくい」と返せば深追いはしてこないと思います。
食い下がって二人に拘るならなお怪しいですが、たぶんそれでは他の人も誘おうとなるんじゃないですか？
そのように収まったならその後の詮索は無用。職務遂行のためにも今まで通りでいれば良いと思います。
上司も深追いするつもりはないんじゃないかな。

下心があって誘ってるのか
職場では言いづらい貴女への説教を言いたいのか

職場の上層部で派閥争いが起きていて打診したいのか…
もしや引き抜きの話なのか…
最近娘がそっけなくて…などの最近の女の子ってどうなん？的な相談なのか…

見極めてから考えます

下心だけに絞るなら「えっ！二人ですか！？奥様怒りませんか！？」とか言って反応を見ます

本来は職場ですべき話を、お酒の席で腹を割って・・・という上司も
まだ存在しています。
３０代だと、女性でも職場では中堅ですよね。
チームの中での在り方とか姿勢とか、ちょっと気になる、こうしてほしい・・
などです。
この手の話しは聴いておいて損は無い気がしています。

imagine様の書かれている事も、正しいと思うので難しいですが、
私なら行きます。
相手の腹の中を知らなきゃ対策を立てられませんから。

最初から決めつけない行ってみたら？
但し、自分はしっかり持ってくださいね。

二人きりというのは、絶対だめ！
妻の立場から言うけど、相手の家族の事も考えてね。

私の夫も、職場の同僚女性（既婚者）から、ちょっとしたお礼のメールがよく来るの。しかも、絵文字付きでね。
２０代が５０代の上司に・・・頭にきているんですよ。
お礼なら、その場で言えば済む事なのに。

だからトピ主さんも、相手の奥さんが二人だけで会った事がバレたら・・・
先の事も想像して行動に移しましょうね。

職場の同僚である成人の男女が仕事時間外に１対１で飲みに行けば、周囲からどう思われるのか？

あるいは、周囲に分からないように、人目を忍んで行けば、その後どうなるのか？

誰にでも判断できる事です。

下心の有無に関わらず、極めて非常識なお誘いです。

やんわり　はっきり

「私は上司と部下として飲みに行くことに問題はありませんが、私が奥様のい立場なら、たとえやましいことがなくても女性と二人きりで飲みに行ってほしくありません。同じ女性として奥様に不快な思いをさせたくないので、どなたかと行かれる時には、ぜひ私にも声をかけてください」

私ならこんな感じでお返事するかな。

下心がないとはいいきれないがある確率が高いので断ります。
２人ではちょっと・・と濁す！

相手にその気が無くても二人きりで行くのは避けるべきですね。

こういうのは最初が肝心で一度行ってしまうと
二度三度・・・で断りにくくなったり、もしくは
お互い惹かれ合う可能性もありますのでお断りする方が良いでしょうね。

また既婚者の身で『二人きりで・・・』と誘うのは
単純におかしくないですか？
よっぽど自分に自信あるのかなぁと思うと逆にドン引きです、私は。

良く言えば、すれていない男性。
悪く言えば、感情のコントロールを術を身につけていない男性。

私の体験談を一つお伝えしますね。

私・上司共に30代既婚、偶然二人とも遅れて職場の忘年会に向かったことが有りましたが、

上司は何も言わずタクシーを手配してくれて、二人でタクシーに乗り込み宴会上の少し手前でストップ！　

洒落たバーに立ち寄り、カクテルを一杯おごってくれました。何て事無いただの世間話をして…、「さぁ遅れちゃったね、忘年会に行こう！」
となりました。

その後も似たようなことは何回か有りました。上司は決して「二人で」などと野暮な事は言いません。家庭第一、でもチョットだけ「別扱い」の同僚もアリ。そんなスタンスを貫いて仕事の業績もバッチリの上司、憧れます。私も一生懸命生きてます。

トピ主さんも大人になってね！

　上司に失礼じゃなくて上司が失礼なんです。
　角が立たないようにけれどハッキリ断りましょう。愛人候補に
　されちゃいますよ。
　
　仕事では尊敬できる人でもその上司は最悪だと思います。
　トピ主さんを守ってあげたい！

下心絶対ありますって、それ。お断りしたほうがいいと思いますよ。

百歩譲って、下心がなかったとしても、他の同僚に目撃されたりしたら
ウワサの的になり、後で痛い目を見るのは女性のほうだと思います。

案１：二人はちょっと…他のみんなに嫉妬されちゃいます。と言って断る。で、アドレスを変える。
案２：「二人で…」の発言に気付かないふりをして、「みんなで行きましょう！」と、勝手に他の人もたくさん誘ってしまう。

まー、でも、断って仕事上でやりづらくなるのも困りますしね…
面倒くさい上司ですね！
とにかく、断ったほうが絶対にいいと思います！

あるある！

私は「体面を気にしすぎな性格なので、
　２人きりで食事したり飲み行くのは
　私にはできません。お言葉はありがたく、
　他の女性社員のかたを交えたり、
　大勢のグループでなら喜んで参加します。」
とはっきり言って、上司にはわかってもらってます。

そこで他の部の女性を交えてランチにしているのですが、
仕事の話しかしてませんね。
だから誘う他の部の女性に嫌がられていますが、
だって私がイヤなんですもの。

もう娘さんはおいくつでしょうか。
そのお母さんが好きか嫌いかわかる年齢になっていると思います。
良く話して、言葉通りには受け取らないで、そのボデイラングエージや心理状態を見て判断すると良いと思います。

まずは黙って専門家に依頼して調査。それと近所の人の話など妹さんにも協力を要請。

妊娠中だからと言ってすべての人がいらいらするわけではありません。
彼女は既にそういった兆候と正体を現していたと考えるのが妥当だと思います。

その上で娘さんと妹さんと三人で実家に行って一日かけてゆっくり話を聞く。
この時に、意地悪されているとわかっているのにお母さんが良い人で好きだといっても本気にしない。脅されたり口止めが考えられます。

＞買い物には３人連れて行くと大変だから
これは口実です。
継母になるならよりいっそう同等に扱う、可愛がると言うのが思いやりです。
私はこの態度からして不審に思います。

早いうちに調査して、必要ならこの女性から離す事が良いかもしれません。
あなたの収入が良いからこそ、奥さんは黙っていた。
今まで上のお嬢さんに可哀想な思いをさせた可能性がありますね。

・こういう輩って、いかにも見え見えな行動をしますね。

・あなたは、単に浮気相手にリストアップされかかっただけですよ。

・マイホームパパの裏側の隠れた欲望が、ぎらついているじゃないですか？　

・ただただ、あなたを都合のいい浮気相手にしたいだけ。

・よきパパを演じ疲れ、男の本能をむき出しにできるセフレを欲しているにすぎません。

・はっきり断って、落とせそうな女と思わせないことが必要だと思いますよ。