隣のお年寄りとのトラブルで相談です

海外に住んでます。
隣のお年寄りとのトラブルで相談です。
前々から、いろいろ庭仕事の道具を借りに来たり、大きな買い物に車をださせられたりしていたんですが、隣人だし、まぁよくしてあげていました。

最近、週末にパブ（居酒屋のようなのも）に行くのに、車で送って欲しいって頼まれるようになりました。
２回送ってあげたあともう頼まないで欲しいといいましたら、すごい激怒されてしまって。
私の人生に口出しするなって。　
タクシーもあるし、調べたらば５ドルだせば、そのパブの専用のバスが家まで迎えに来てくれるのだそうです。

もちろん、彼はそれを知っています。
それまで、私達とは、まぁいい関係でいたのですが、他の隣人達とはかなり摩擦のある人です。
驚いたのは彼の家族（同居の30歳の娘、妻）もそろって、私達を目の敵にするようになって、話もしたくないっていわれてます。
彼には自分の車があるのですが、飲酒運転を気にしているせいで、自分で運転して、パブには行きたくありません。
娘も妻も週末はいないことが多いようです。
正直いって、今まで、摩擦を避けるために、相手の要求をみんな呑んでいたんで（典型的なアジア人ですね。）なんだか、うまく利用されているような気がして、うんざりでした。

今回、勇気をだして、断ったらば大事になってしまいました。
私は今まで、日本でも海外でも人にあまりＮｏといったことがない人間なので、どう対処していいやら。
主人もこのお年寄りにはうんざりしていたのですが、やんわり断ったのが大事になって心配しています。

これから嫌がらせをさせられたりするんじゃないかとひやひやしています。
どう、対処するべきだったんでしょうか？
あるいは、同じような経験をされた方いらっしゃいますか？