ATM扱いがつらいので解決に向けて努力できる事をアドバイス

してほしいです。よろしくお願いいたします。
シングルマザーの家庭で育ち、それまで好き放題できていたことを高校生の頃から実感するようになり、少しでも家計の足しになればと思い給料を半分ほど家に納めるようになりました。
1人暮らしにも憧れてはいましたが下の弟妹達との年が離れていたこともあり母を助けるように社会人になってからも家に給料の半分を納めてましたが教育にお金がかかることから日頃の家事をやってもらっている感謝もあったので決心して３５年ローンで家を僕が購入してそこで皆で暮らしていました。
それから8年ほどたつ現在は３０代後半でその家が持ち家なので実家暮らししています。兄弟のうち1人は1人暮らししており、もう一人の兄弟と母の3人暮らしです。
僕自身は精神が弱いので正社員としてせっかく入れた会社もサービス残業ばかりさせられるところを転々としてしまい、収入も減ってきてしまいました。収入が高かったころは家族旅行にも年に3回ほど行けてその費用もだせてて思えばそのころが一番うまく回っていたと思います。収入がその頃の半分になってしまったからだと思うのですがこれまで通りに外食をおごったりできないのでほとんど何も買わず家にあるもので食べたりしています。そういう状況になったのは自分のせいなのでとくに何も思わないですがこんな状況でも何か買ってくると母に『私の分は？』聞かれ『ないよ』というと『おごれよ』と言われるのでカチンときて『普通そんなこと言わないからね』と言い返すように最近はするようにしました。そして自分からそういうことについてもう我慢しないからと言いました。しかしどんどん今では家族が自分に対して冷たいです。これまでどんな思いで支えてきたと思ってるのかと言いたいですがそれを言ってしまっては結局は家族のせいにしてしまってるのと同じことでまだ言えてません。関係を改善するにはどうしたらいいでしょうか？