私が折れるべきですか

こんにちは。私は10年ほど一人で暮らしていましたが、2年ほど前父親がなくなったため、実家に戻り、現在母親と二人暮らしです。
もともと両親、兄弟とそりがあわず（暴力、兄からの耐えがたいいじめ）家を出ていましたが、父親が死に、小さくなってしまった母をみて帰ることをきめました。そして今に至ります。今回の相談なのですが、何年か前に家をなおすため、職人さんが家に出入りしていました。
そのとき、その中のひとりが、家に上がり込み（直している部分とはぜんぜん別のところ）私がいる部屋の扉をばっと開きました。私がいると思わなかったとか、母と間違えたとかいっていましたが、私はすごく嫌な気持ちになりました。私たちがいないときにもこうやって家の中に入っていたのではないのかと。それをそのときに母にも兄弟にも伝えていました。
そして月日が過ぎ、今また家を直すことになりました。そして来てくれる職人さんの中に、その人がいるそうで…。私はそれが不安になり、母に言ったところ、ケンカになりました。もう決まっているから断ることが出来ないのにアンタはわがままだ、と。
兄弟にも言ったようで、同じように怒られました。私は折れるべきですか