父を傷つけてしまい、自分が嫌になってしまいました…

30代の主婦です。子どもはいません。 昨年母親が亡くなり父が一人暮らしになりました。 私たち夫婦は実家から車で約30分のところに住んでいます。 父は全く料理ができないので、実家は反対方向ですが職場の帰りに1時間近くかけて実家に寄り料理を作り、主人の分の食事を持って30分かけ自宅まで帰るという生活でした。しかし、両立が難しく自分自身治療で病院通いもしているため最近退職をしました。 退職してから、父にランチに誘われ一緒に行くことが週に2〜3度あるのですが、その際の費用をほぼ毎回私が払っています… また、夕食がほとんど一緒なので一緒に買い物に行くこともあるのですが、その食材費もほぼほぼこちら持ちのことが多いです。 うちは夫婦別財布なのでランチ代は家計ではなく私自身の独身時代の貯金などから出しています。しかし退職もして収入のない中、限られた貯金から毎週毎週数千円単位での出費が続くと正直かなり厳しいです。 それを兄に相談したところ、私の目の前で兄が父に「収入がないから気にかけてやってくれ」と言いました。すると父はとても悲しそうに「自分も出しているのに…」と言いました。その姿がとても辛かったです。 普段はとても仲の良い親子でいつも味方でいてくれる優しい父です。私の病院通いの治療費を時々渡してくれることもありました。本当に感謝しています。 それなのに退職してからお金の件でモヤモヤしてしまい、あまり実家に行きたい、父に会いたいと思えなくなっている自分がいます… わたしからこのようなことは今まで言われたことが無かったので父もかなりショックをうけていたように感じました。 母親が亡くなってまだ立ち直れていない中傷つけてしまい親不孝な自分が本当に嫌いです。 この先父とどう接していけばいいのかとても悩んでいます。厳しいご意見もお待ちしていますが、出来れば解決策となるコメントですと嬉しいです。