人との距離について

今9歳年上の方とお付き合いしており、一年半くらいになります。同じ会社内なので、他の人には話せません。 社内にAさん(女性)がいるのですが、彼がその人を嫌っています。理由は自己中で周りに迷惑をかけるからだそうです。なので、私にもAさんに関わらないように言ってきます。 ただAさんの方は私と仲良くしたいようで、よく連絡してきたり飲みにいこうと誘ってきます。電話も一時期毎日のようにかかってきて仕方なく出ると愚痴&悪口のオンパレード…いやになってしばらく無視していると連絡は途絶えました。 しかし先日会議があり、はちあわせることになりました。会議が終わって現場に向かうとき、車にのってく？とAさんから声をかけられました。 もちろんすぐに、いいよ大丈夫、と断ったのですがその時は荷物も多く、重いでしょ通り道だし乗ってきなよ、と言われそこから断る文句が浮かばず車に乗せてもらうことになってしまいました。 それを彼にLINEすると、やはり怒っているようすで… 彼の言い分としては「彼氏が嫌だといっていることをやるのは思いやりにかけている」ということなんです。ただ私はAさんが嫌いという訳ではないので、邪険にするのは罪悪感があります。その罪悪感は思いやってくれないの…？という気持ちもありつつ、彼の言い分も理解はできます。 でも思いやりって誰かを犠牲にしてまで優先するものなのでしょうか？だとしたら、私はどう断れば良かったのでしょうか？プライベートの誘いならまだしも、仕事絡みは断りづらいです。 また、今後Aさんと距離を置くにはどうしたら良いでしょうか。 長いですがよろしくお願いいたします。