残された父のサポートが辛くなってきました

数カ月前に大好きだった優しい母が亡くなりました。残された70代後半の父は一人で暮らしており、兄と私でサポートしていかなければと思っていましたが、しんどくなってきました。 小さいころから私は、自己中で怒りっぽかった父が嫌いでした。働かず株の利益だけで暮らして大損して、母をはじめ家族に迷惑をかけた父。大人になって父との関係は多少改善し、苦手意識は残っていますが、父は孫にはとても優しくしてくれます。 父のところに週に何度かご飯作りに行ったり顔を出したりしていました。毎日電話話もしていました。 それが、ある時父は急に寂しくなったようで、平日の夕方、週に３度もアポなしで来訪しました（車で数十分の距離です）。私にはまだ手がかかる小さい子がいて夕方は一番忙しいし、具合が悪い時もあったりで、イライラしてしまいました。 今後は必ず電話をしてから来るという約束をしてもらいましたが、それ以降、毎日何度もかかってくる電話や、何かしら理由をつけて頻繁に来訪されるのがストレスになってきました。 私には兄が一人いますが、平日は仕事で忙しいため、土日のどちらかで実家に顔を出しているようです。兄の方には父から電話や来訪がないため、私の心理的負担を全く理解してくれません。それどころか「お前は主婦で時間があるんだから、それくらい仕方ないだろ」と言われました。 父から着信があると「またか」と憂鬱な気持ちになります。 ですが、高齢の父を一人ほったらかしておくわけにもいきませんし、認知症にならないためにも話し相手として続けていかなければならないと思っています。 ご家族を介護している方からしたら、私なんて全然大したことしていないというのも分かっています。でも、心が疲れているのか涙が出てきます。 これからの気の持ちようなど、なんでも構いません。アドバイスいただけたら幸いです。よろしくお願いいたします。