話すべきでしょうか？

アラフォー・結婚歴なし独身女です。
趣味を通じて仲の良い年上グループがいるのですが
その仲間うちで独身の方と私とくっつけようとする動きがあります。

ですが、私は数年前に事業の失敗と病気が重なり破産した経歴があります。
その後の療養で体調も持ち直し、現在は会社員として働いていますが
年齢も年齢で子供を産むことが難しいこと、
また、私自身恋愛できる身分ではないと臆してしまう気持ちがあるため
パートナーを作ることは考えていませんでした。
今もまずは自分の生活を安定させたいという気持ちの方が強いです。

そのため今まで交際やお見合いの話をいただいても、全てお断りしていました。

ですが今回、私の態度を見かねた仲間の一人から
「彼らのどこが気に入らないのか。
女がそんなにフラフラしていて
この先一人で生きていけると思っているのか
プライドが高すぎるんじゃないのか」
と厳しく叱責されてしまいました。
バブル時代を引きずった理想の高すぎる女と思われていたようです。
（相手の年収や年齢、体型などを理由に私が断ったと思われている）

ちなみにお相手の方は皆さん素敵な方で不満はないのです。
ただ皆さんきちんとした家柄なので
私のような経歴の女との交際は無理だと思います。

自分が誤解されるのは自業自得なので仕方がないのですが
仲間うちでぎくしゃくしてしまうことは避けたいです。
正直にお話すべきかもしれませんが
自分の居場所をなくしてしまうかもと思うと踏み切れません。
虫のいい話かもしれませんがそのグループが大好きなので
今後もできれば一生仲良くしていきたいのです。

やんわりお見合いや恋愛の話を遠ざける方法がありましたら
お知恵を貸してください。お願いします。