近すぎるセカンドハウスと自治会

マンションに家族4人で暮らしています。 両親がマンションから徒歩3分の戸建てに住んでいましたが、2年前に他界し、私が相続しました。 コロナ禍という事もあり セカンドハウスとして 夫の在宅ワークをしたり、子供の遊び場所として、使用していました。 (立地上騒音問題などはありません) 同じ町内会ですし、ゴミはマンションの方で出してますので、自治会は入らなかったのですが、先日、いつまでも自治会に入らないのは困ると会長さんが来ました。 もともと戸建ての数も減っており何かと大変だと。 マンションでは自治会費というのは払っておらず、マンションの管理費のみです。 近所の清掃などは自主的に夫婦で参加をしていましたが、もちろん自治会には入ってないので、お茶などは渡せないとわざわざいわれます。こちらとしてももちろんいらないので、終われば帰ります。もちろんゴミを私達の分を回収してくれないので、持ち帰ります。 同じマンションの方が、ボランティアとして参加してますが、お茶も配られゴミも回収されてます 腑に落ちないのは、私の父は10年もの間、無償で自治会長をしていました。 決して立候補ではなく、押し付けられた形です。毎年、他の方に話をしていましたが、皆に理由をつけ断られていました。 父がなくなるギリギリになって、ようやく代わったのが今の自治会長で、その方は父がやっていたのだからわかるだろうとか、若い人がやった方がいいなどと言って押し付けてきます。 他の方は自分にくると困るからなのか、普段は挨拶も話もするし、ゴミ出しもいいのにね、と言いながら肝心なところではだんまりです。 私達がしている事は非常識なのでしょうか？ できれば土地は子供達に残そうと思ったのですが、なんだか憂鬱です。