地域役員を辞めたい

55歳　男性　自営業 ある地方都市で地元から選出されて地区（100軒くらい）の役員を していますが、最初は2期4年くらいの約束だったのに自分のところで 既に4期も経ちました。 そこで先日に「もうそろそろ変わって欲しい」と総会で発言したところ 根回しがしてあったようで、全会一致に近いような形で否決されました。 どうやら私の次には2人ほどの候補があるのでその人達が組んで もう一世代後まで「引き伸ばそう」としてると後で聞きました。 そこでこういうことが前例になると次の役員さんが決まらないと 直接言ったのですが、それっきりその2人はどんな全町作業・行事でも 顔を出さなくなりました。 他の町でもここ10年くらいの間に同じようなことが起こっているようです。 別にもう1期くらいは構いませんが、このままだとあと2期は固定されそう なので本当に困っています。 皆さんの周りでもあるのではと思って相談しました。