上司からの食事の誘い

部署が違うが、よく私の部署に出入りをしている上司の方から食事に誘われました。その上司とは他愛もない日常会話くらいはしていましたが、そこまで親密な関係ではありません。 話の流れで「ぜひ」と答えしまいましたが、二人きりでの食事は行きたくありません。 その場ではそれだけで終わりました。 ただ単に社交辞令で誘ってきたのなら良いのですが、今後また誘われるようなことがあったときに何と言って断れば良いでしょう？ 「二人きりだと緊張するので他の人も誘いましょう？」などと言えば大丈夫でしょうか？ その上司は結婚していますし、私も彼氏がいます。おそらくですが私に彼氏がいることも知っています。それでも食事に誘ってきたということは下心などではないかもしれませんが、やはり避けたいです。 その上司は私だけでなく私の直属の女性の上司とも非常に仲が良く、出かけたりもしているようです。 私自身は直属の女性上司との関係の方が大切なので、その誘ってきた方と必要以上に仲良くなって変に誤解されたり嫉妬などされたくありません。 ですがそれなりに今後も関わる上司なのであまり失礼にあたらないようにそれとなく断る方法、言い方など教えて下さい。よろしくお願いします。