高校時代からの友人と、縁を切ろうか悩んでいます。

高校時代からの友人と、縁を切ろうか悩んでいます。

友人は元カノの浮気が原因で、
仕事を辞め何年も実家暮らしのニート状態です（オークションでお金を稼いでいるらしいのですが）

友人から、度々両親の不倫疑惑などで夜中に電話やLINEがきて相談にのっていたのですが、
友人の一言でついキツく言ってしまいました。
自分は「親のスマホを見て、勝手に不倫相手と思う相手にLINEするなんてどうかしてる。
しかも不倫じゃなかったみたいで、その相手の相談に親身にのったとか、
それはお前が働いてなくて時間がないからだ。
働いてたら、そんな余裕はない。
しかも一人暮らしだとなおさら」と。

その後、緊急で出張があり、友人からのLINEに2日返事できずにいました。
そしたら友人から「お前はいつも仕事仕事だよな。お前にはもううんざり。離れるわー」と。
イラっときましたし、返事はしていません。

自分は今年度から責任者として新しい部署へ。
今、引き継ぎや新しい事を覚える事だらけで、体力的にも精神的に余裕がありません。

皆様なら、こういう場合どのように対応致しますか？
自分は友人として、とってはいけない態度だったでしょうか？

よろしければ、客観的なアドバイスをよろしくお願い致します。