セクハラされた部下を気遣わない上司

私は以前、同じ部署ではないですが、隣の島の人からセクハラを受けました。
直接体を触られるといったセクハラではなく、文面でのセクハラです。
セクハラの被害があった時には、ちょうどその人が別の拠点に異動が決まっていたので、
会社にこの件を相談した際には、その人と顔を見なくて済むのであれば厳重注意という対応だけで結構ですと、言ってしまいました。これ以上問題を大きくしたくなかったことと、相手に恨まれるのではという恐怖心からです。
しかし、少し前に私もその人がいる拠点に部署ごと異動になってしまいました。
幸いにもビルが違い、会社の食堂などでたまに視界に入る程度だったので、不快ではありましたが、特に会社に報告等はしていませんでした。
しかし、組織変更があり、部門が統合され、その人と同じ部署になってしまいました。
幸いにも同じ部署でもビルが違うのと、仕事内容が異なるので関わることはなかったのですが、
最近になって部長（セクハラされたことを知っている）が部門全員を集めて定例の部内会議を行うと言い始めました。私はその人が発言している声を聞くのも嫌ですし、私の声を聞いてほしくもありません。
更に定例部内会議というのも、単に他のチームが何をやっているのかという情報共有のみで、特にそこまで重要なものでもありません。
部長は、私が受けたセクハラを大したことないと思っているのか、それとも忘れてしまったのか、
部下を気遣う上司ならば、もう少し対応に気を付けるべきではと思うのですが、
私が我儘すぎるのでしょうか？文面でのセクハラくらいなら黙っていろという考えの方が多いのか、皆さんの意見をお聞きしたいです。