大人なのに親とうまく話せない

小学生の子供を持つ大人です。
大人なのに親とうまく会話ができません。
意思を全く言えないというわけではありませんが、親の前で喜怒哀楽を素直に出したりができません。
親以外の人の前ではどちらかというとよく笑う社交的なタイプなんですが、親の前では笑うことができないんです。
特に父親にたいしては目をすぐ逸らしてしまう、同じ空間にいることがイライラしてしまう、嫌悪感。
これに対しては何となく心当たりがあり、子供の頃目の前で母親にいちゃつく、怒るとすごく怖くて弟が悪いことをすると手をあげる、短気ですぐ怒鳴る、エロ本が山のようにおいてある、入浴中に何度かお風呂を開けられた。(これに関してはお風呂場に洗濯機があり、洗濯物を入れるときにあけたので入ってると知ってか知らずかは分かりません)、父親側の祖父に中学生頃まで身体をさわられた(親は知りません)
すぐネガティブなことをいう。

このようなことがトラウマになっているからなのか父親に対しては特にいまだ嫌悪感を持って避けてしまいます。
避けてるとはいっても一緒に出たけたり旅行にいったりはでき、周りからみたら仲のいい家族に見えるかもしれません。
けど、やはり喜怒哀楽は出せず素の自分ではないために、たまに疲れてしまいます。
ここまで育ててくれたことに感謝はもちろんしていますし、愛情たくさんで育ったこともわかっています。今日までも何度も助けてもらったのも事実です。
二十歳頃、パニック障害になり、そこから感情がうまく出せなくなったのか？と思ったりもしますが実際の原因はわかりません。

感謝しているのになぜ。という疑問ばかりで嫌悪感やトラウマはあるものの、ここまで育ててきてくれた親。やっぱり笑って仲良く過ごしたいし素の自分を出したい。
親が亡くなったときに後悔しそうだと思い、どうしたらいいのかと書かせていただきました。
アドバイスお願いします。