知恵をお貸しください。

ある友人とのことです。

私は内向的な性格で断ったり言い返したりすることが、なかなか出来ません。
すぐに相手に合わせてしまいます。
空気を壊したくないなとか傷つけたくないなとか、
また意見などをして嫌われたくなく、円満に解決したいなという気持ちがあるからだと思います。
それが、すべてにおいて、いけなかったのだと反省しています。
その友人には一方的に強く言われたりして、最後には無視され、離れていきました。

そのことは本当に辛い出来事で、もう思い出したくもないです。
辛かったですが良い勉強だったと思って次に進みたいです。
そのことがきっかけで「言いたいことは言わないといけないのだ」と学びました。
ただ、言い方というのも難しく、また大切だと思うのです。

今は違う友人が出来て楽しくすごしているのですが・・・
たまに昔ばなしになると、そういった以前の話を聞かれることがあります。
人のプライベートに興味がある人のようで、
盛り上げるためだとは思うのですが、かなり根掘り葉掘りと聞かれます。
正直いやな気分になるのですが、ごまかしている感じです。

これから、しつこく聞かれることもあるのかもしれないと思うと憂鬱で仕方ないです。
過去は過去で反省して、新しくすごしたいのに・・・

そこで、
こういう場合に「思い出したくないので」という理由で断るのは、いけないことでしょうか？
この言葉以外で添えたりした方が良い言葉や、表現があれば教えてください。

本当に子供のような質問でお恥ずかしいのですが、よろしくお願いします。