既婚男女が2人で飲みに行くこと

取引先の上司から食事に誘われているのですが、断り方について悩んでいます。

私は30代既婚で子供はいません。相手の方も既婚です。
初めは関係者数人でということだったので、業後に面倒だけど今後の付き合いもあるしなぁと思っていたのですが、他の人はしばらく忙しいそうだから2人で行こうと言われました。また、私がお酒を飲めることを他の人から聞いたそうで、いい酒出すお店決めておくと言われたのですが、既婚同士の男女が2人でお酒の席に行くことって自然なのでしょうか。旦那に話すと怒りそうですし、私自身行きたくないので、角が立たない断り方があれば教えて頂きたいです。

以前、他のお客様で断りきれず2人で食事に行ったことがあるのですが、その後つきまとわれるようになったことがあるので、余計に警戒してしまっている面もあると思います。
既婚者同士2人で飲みに行くのっておかしいという考えって古いんでしょうか？みんなが下心があるわけでもないでしょうし、自意識過剰なのかなとも悶々としています。

子供がいれば子供を理由に自然に断れると思うのですが、子供がいない女性って誘いやすかったり、軽く見られるのかなと感じることが最近多々あります。
アドバイスやご意見など何なりと聞かせてください。よろしくお願いします。