父と絶縁したい、していいのでしょうか

父との絶縁を考えています。皆様のご意見お聞かせください。

私：２３歳学生、父：６０歳アルバイト、母：５８歳パート
・父は結婚前から職を転々としている。正規雇用に就いたことがない
・職場が続かない理由は、人間関係で少しでも躓けば辞めてしまうから
・高３のとき、父がネットワークビジネスにはまる。母が「離婚するかネットワークビジネス辞めるか」迫った結果、離婚

今回投稿するに至った発端は昨年秋頃のことです。
父の過去の税金滞納が発覚し、早急にまとまった額が必要になりました。
その際、父は私の奨学金を当てにし、ウン十万貸してほしい、と電話してきました。
定期解約すれば用意できる額でした。けれどもそれは月々のやりくりとアルバイトの賜物であって、苦学生が普通持っている額ではありません。
そのとき、自分の脳裏にこれまでの寂しかった記憶が蘇ってきました。
そして、お金は貸せない、と返答しました。
すると父は激怒。
「お前がそんな冷たい子だと思わなかった。それなら親子の縁切ってやる。」
このようなことを言われました。
こちらが冷静に諭しても、向こうは感情的に怒鳴るばかりで、まともに話が通じません。
このとき、ショックと同時に納得しました。
ああ、この人は今までこうやって身勝手に生きてきたんだな、と。
それ以来着信拒否し、連絡は母を介しています。

こんな父とは縁を切ったって…と思う一方、孤独な父が可哀想に思えてしまいます。
幼少期にはたくさん遊んでもらったし、３年前期までは母と分担で授業料も払ってくれました。
基本的に私に愛情があるんだと理解しています。
けれども、今後父とまともに会話なんてできません。

世間一般的に、どう思われますか。
父を見捨てるのは酷でしょうか。