幼なじみについて

僕は発達障がいをもつ19歳です。勉強が苦手、運動が苦手で、周りからからかわれたり、誹謗中傷を受けたことが今まで何度かあります。人見知りで、友達の少なかった僕に、一人だけ、仲良くなった同性で同い年の友達がいました。以後、その友達を彼、と呼びます。彼は僕に障がいがあるのを知りません。中学生になり疎遠になりましたが、疎遠になる前には週一で遊ぶ関係でした。遊ぶにつれ、彼が僕に対する発言や言動が誹謗中傷化していき、遊ぶたびに傷ついていきました。
そんな彼と、高校を卒業した年の夏、家族ぐるみでの再会をしました。偶然ばったりあった形です。彼の母は喜び、連絡先教えて！！！と喜んでましたが、僕は彼と友人の関係に戻りたくありません、またなにか言われるのが怖いからです。一年以上無視していて、今年また会いました 、また同じことを言われました。連絡先交換するつもりありません。無視したいです。どうすればいいのでしょうか。