職場の上司からの見合いを断ったら

トピを開いてくださってありがとうございます。 当方４２歳女性独身です。そこそこ男性とお付き合いをしたこともあるのですが、結婚までいたりませんでした。お見合いは数知れず断ったり断られたりです。 今後は健康に注意し定年まで働き老後をどう過ごすか考えております。 前置きが長くなりましたが、今から８年前の３４歳のとき、以前上司だった方から男性を紹介するから会ってみないかといわれました。 職場ではやはり皆さん結婚は決まるまで「結婚します！」とは言わないし、年齢的に贅沢は言えない事は解っているのですが、あまり、気乗りがしなかったため、「仕事でご迷惑をかけて、プライベートなことまでご心配いただくのは申し訳ないので、お気持ちだけ戴かせてください。」とお断りしました。 上司だった男性からは、せっかく紹介してやったのに断りやがって。」とのお言葉をいただいてしまいました。 その後上司は人事異動により他職場へ移動しましたが、上司は３年間隔で人事異動により交代するのですが、交代するたびに顔を出し、新しく上司になった方に「以前紹介しようとしたが断った。」と世間話をしていかれます。 今のところ男性を紹介しようとしていただいた以前の上司とは多少仕事が関係あるので、仕事の話をするときは失礼のないように応対をしております。 この以前の上司はどうして何年前の話をまことしとやかに話をするのか心境がわかりません。 言わせておけばいいのでしょうか。