離婚した父親を困らせてしまいました

私は現在18歳で自分が4歳の時に離婚した父親とつい最近連絡を取り始めました。昔からずっと会いたいと思っていて実家の方もうっすらではありますが覚えていて行こうと思えば行けたのですが、家に引き戻されての生活が怖くて何も踏み出せずにいました。 最近連絡を取り始めてから突然でどう接していいか分からないと言われたのに久しぶりのやり取りに少し焦っていて｢今までずっと会いたいと思っていた。今まで1度も忘れたことはない｣と割と重ためな文章送ってしまいました。その後既読はつきましたが返事が来ず、｢困らせる事を言ってしまって申し訳ないです。忘れてください｣と送りました。その後返事はかえってきましたが、やはり余りにも敬語で他人行儀なのでもう関わらないのが相手の為なのかなとも考えました。今の再婚相手は父親になってからも怒鳴りつけてきたり必要以上に躾といって厳しく制限をかけてきたり、弟と余りにも差別してきたりしたし母親のいない所で暴力を振るわれたこともありました。しかし母親は信用してくれず、最近は多額の借金を背負って生活費もほぼ母親が払っていて一緒にいる意味がもはやわからないですし、私の前で母親は再婚相手のことを大嫌い、消えればいいのにと言う癖になんだかんだで仲良くしてます(週に3日くらいは2人の機嫌が良いです。最近はほぼ毎日険悪ですが)話が大分それてしまいましたが、実の父親とはもう14年も空いていたらもう会わない方がいいですか？正直今はどうする事が最善策なのか分からないのでぜひ皆さんのご意見をおきかせ下さい。