職場の同僚に遊びに誘われる

20代、既婚済み、派遣事務をしております。 20代の派遣同僚からよく遊びに誘われます。 その同僚は派遣先の上司(30代)と付き合っています。 遊びの誘われ方としては、 彼氏(上司)が車を出すので一緒に遊びに行かないか？といった内容です。 同僚にとっては彼氏かもしれませんが、私にとっては他部署の上司なので、そこまで話したことはありません。 長時間、車に乗るのは抵抗があります。 上司とは年齢も離れており、気遣いますし、わざわざプライベートで派遣先の上司と仲良くしたいと思えません。 誘われる度に毎回上司(彼氏)がいるので、上司含め同僚にもうんざりした気分になっています。 「用事が〜」「旦那さんが〜」などと断っているのですが、それでも誘われます。。 私の感覚がおかしいのでしょうか？ 何か良い断り方があったら教えてください。 よろしくお願いいたします。