母親と関わるのが苦しいです

23歳、現在4年目の社会人として働いています。 私は幼い時に父の浮気がきっかけで両親が離婚、それからは母と二人暮らしでした。しかし母は仕事終わってもパチンコで帰らず、まだご飯の用意やお風呂も自分1人では出来なかった私は、お腹をすかせながら0時前まで母の帰りを待つ毎日でした。母に電話をしても『もうちょっとしたら帰る』とだけ。帰ってきても、私の愛想が悪いとイライラしてぶつこともありました。それを見かねた祖母が私を引き取り、中学校に入ってからは祖母の家に住むようになり、無事に自立し現在に至ります。 母親は過去のことを反省しており『小さい時にしてあげられなかった分、孫には何かしてあげたい』や『本当に申し訳ないことをした』とたまに口に出します。最低なことをされてもひとり親で大変な思いをして私を育ててくれたことは変わらず、誕生日や旅行には他の家庭と同じような思い出をくれたことに感謝もしています。しかし、母の自分勝手なところは相変わらずで、いまだに会うと精神的に疲弊するし、母親に冷たく対応する自分に対しても悲しくなります。母親がこのまま死んだら、後悔するのかなとも思うんです。私は親不孝者でしょうか。この先どう母親と付き合っていけばいいでしょうか。