よろしくお願いします。
職場の方に週2回ほど家まで送って頂くことがあります。当方40代女性の一人暮らしです。
経緯は後述しますが、この送迎をお断りするのに皆様のお知恵をお貸しください。

私の職場は少し特殊で、一線を退いた男性(6、70代)が何人か非常勤で働かれています。
その中の古株Aさん(60代後半・男性・車通勤)が退勤時間が合う日は家に送ってくれます。
私は徒歩で片道20分くらいを通ってます。
職場は交通の便が悪いため、同僚同士での送り迎えは珍しいことではありません。
ですが、女性同士ならともかく独り身の私が男性に送ってもらうのは(いくら既婚のリタイア層とはいえ)あまり良くないと最初はお断りしていました。
ところが別のBさん(やはりリタイア層の男性です)から「Aさんせっかく待ってくれてるから送ってもらいなよ。Aさん良い人だよ」と度々言われ、根負けしてご厚意に甘えることにしました。

Aさんはお話上手で職場ではわりと人気者なのですが、時々エッチな冗談を言います。同僚の女性陣は主婦が多いこともありそういう冗談は笑って流していますが私は苦手です。
また一人で寄り道して帰りたくても「読書して待ってるから買い物してくればいいじゃない」「僕も○○に行こうかなー」と食い下がられるのも困ります。
先日、同僚たちの前で「お、着替えるの？僕もついて行こうか？」と言われ、これが続いて周りに誤解されてはマズイと感じ一切をお断りしたくなりました。

なんとか上手くお断りする良い言い回しは無いでしょうか。
ちなみに最初は謝礼やガソリン代をお渡ししようとしたのですが、とても渋い顔で断られてしまい、以降はそういう話はしていません。
「申し訳ないので」「遠回りさせちゃうので」「寄り道するので」のフレーズも上手に押し切るタイプの方です。