もう会わないほうが良いのでしょうか？

３２歳、シングルマザーです。今年の２月に離婚しました。
４月に２歳になったばかりの息子がいて、私が引き取りました。

離婚原因は、夫が自由になりたい、家族が重荷だから離婚したいと言い出しました。
それが思うようにならないからと暴力暴言（私と息子に対して）
最後には「俺を自由にしてくれ！」と首を絞められてさすがに怖くなり、
離婚に同意しました。

家事は全て私、育児も何も手伝って貰えず、
小遣いも給料の半分、休日も友達と遊ぶのを優先しても、
嫌な顔せずに送りだしていたのですが…それ以上に自由になりたかったようです。

本題はここからなのですが…
夫は、離婚後息子に会いたいと一度も言いません。
公正証書を作るにあたっての面会についても、特に希望しないとのことなので何も書きませんでした。

他に女性でもいるのかと思いましたが、いませんでした（調査済）

恐らく、夫は自分にしか興味がないのだと思います。
息子は可愛いと言いつつも、たった電車で２時間、車で１時間半の距離すら遠く感じるそうです。
息子の誕生日にも何も送ってはきませんでした。
だいぶあとで、パチンコでとったアンパンマンの玩具は届きましたが。

息子は、父親のことを全く覚えていないようです。
１歳になってから、ほとんど家に返ってこなくなったので、当然なのですが…

覚えていないのなら、このまま会わずにいたほうが息子も傷付かずに済むのでしょうか？
それとも夫に交渉してでも、定期的に会った方が良いのでしょうか？

アドバイスお願いします。