転勤トラブル？私が悪いんですか？

32歳会社員です。この秋に3年の海外赴任から帰国しました。
赴任者は、家電や生活用品などを代々譲り受けていました。
当時、前任者の住まいから私の住まいまでの運搬は私が手配し私が払います、というような話をしていました。
しかし、いつまでたっても運び出し可能日程などの連絡が来ず、間に合わないので自分で揃えると連絡をしたところ、突然「車を借りてそちらへ運ぶ」と連絡が来ました。
車を借りた代金を支払うときになって、車は自分の引越しゴミなどを処分するために使うから半分でよいと金額を言われ、私はとても感謝しているからと3分の2ほどを渡しました。前任者は恐縮してましたが、無理に持って帰ってもらいました。

しかし、帰国してみると、私は荷物を運ばせ1円も払わない無礼者になっていました。
先日、飲み会の席で私と後任者の荷物引渡しのことを聞かれ、後任者はほとんどを自分で用意し破棄が多かったために、運搬は後任者、破棄は私で分担したと話しましたら、「自分はタダだったのに？！」
周りの人から「えーヒドイ！」と聞こえましたので、「半分と言われて、多めに払ったよね？」と言ったところ、以後この話はしていないようでしたが、お店の人の「30代に見えない！若い！」とか「英語できるのすごい」という私へのお世辞にまで「ほめなくていいですよ！」とイチイチ絡んできてました。

現在、相手は私を無視しており、一部仕事にも支障あります。
私は気は弱い方ではないので、3年も赴任したのに英語が出来ないのは自分の責任であることを自覚させ、残り3分の1相当を叩きつけて謝罪させたいくらいです(笑)
まずは、穏便な解決方法などありますでしょうか。