小学校のボランティア、断りたい

小学生の子供が二人おります、近所のホームセンターでパート勤務しております 子ども達がかなり引っ込み思案なのでなるべく学校に顔を出し、子供たちにも親子で顔を覚えてもらい、みんなと仲良くしてほしい気持ちからなるべく協力的保護者ボランティアをやっています。 子供たちにも親御さんにも話しかけてもらえるようになり、それ自体は良かったなあと思っています。 ただ、どうしても地域のパトロールはやりたくありません。 老人会の所属のボランティア（70代の男性５人）の運転する車で助手席に座り地区を回るというものです。 一度は参加したのですが運転は怖いし個人情報を根掘り葉掘り聞かれて非常に不快でした。 毎月2回なのですがうちの地域は正社員で働く人が多く、ほかのボランティアもそうですが募集しても人が集まらないのが現状です。役員のお母さんですらなかなか参加しません。 今年の役員は私の勤務先で別部門で働いているお母さんの友達がいて、シフトを見て私の休みがあればここパトロールいけるよね？？と毎月毎月言ってきて困っています。 都合悪い都合悪いと断り続けていますが、今回はパトロールの日程知っててパート休みなのに予定一回くらい空けてくれないかと食い下がられ、無理ですといいましたら、 じゃあ、3月は空けてね！！とラインが来て今返信せず途方に暮れています 正直に不快な思いをしたので行きません！と言いたいですが、、、 地域の方も気持ちでやってくれているので申し訳なく しつこい方に理由を話さず断るにはどうしたらいいでしょう？