既婚男性からの誘い？

はじめまして。
私は３０代の既婚女です。

初めてなので、読みにくいところがあるかもしれませんが、お許し下さい。

今回皆様に相談したい事は、上手な断り方を教えていただきたいのです。
以前、勤めていた会社の既婚男性（以後Ａさん）に、「久しぶりに今度飲みに行きませんか？」と誘わせています。
Ａさんには、会社でとてもお世話になったのですが、会うとなると多分２人になると思んです。
Ａさんに下心はないと思うですが、やはり元同僚といえ異性と２人で飲みに行くのはどうか？と思うのです。
でも、お世話になった人だし、なるべく不快にならないようにお断りしたいのですが、どうように言って断ればいいでしょうか？

また、皆さまの場合、会社の人ならば同性、異性かかわらず２人で飲みに行くのに抵抗ありませんか？
私は、Ａさんが同性なら飲みに行ったと思いますが、そういう性差別で飲みに行く行かないを決めていいのでしょうか？

ご意見をお聞かせ下さい。

※ちなみに主人にはＡさんに誘われている事を言ってあります。（誘われているという事を隠したくないので言いました。）主人は「行っても、いいんじゃないの」と言っていました。夫婦仲は良好です。