ふたりめ妊活の諦め方…愚痴です

私40歳、夫45歳、子どもが4歳（もうすぐ5歳）です。出産時、私は36歳で高齢出産でした。
結婚して数年、授からないのでクリニックで一通り検査するも特に問題なく、それから数ヶ月後に妊娠、無事に出産しました。

共働きで、私は時短正社員です。育休後、しばらくは慣れずに大変苦労し体調もあまり良くなかったのですが、子どもが2歳過ぎてから少しだけ楽になり、ふたりめ妊活を始めました。
ですが、ふたりめ妊活から3年弱が経ち、妊娠する気配がありません。時短とはいえ残業することも多く、休みを調整できないことから、クリニックには定期的に通っていますが体外受精は考えていません。

保育園では、2人、3人、4人目！という同世代ママも結構いて、羨ましいなぁと正直思います。（東京、都心に近いエリアです）
結婚当初は、経済的に恵まれていれば3人でも4人でも欲しかったですが、今は我が家の収入を鑑みると2人または3人が限度だと感じています。それがさらに2人さえ無理かなぁという状況になり、悲しいです。
夫も2人はいるといいねと話していて関係性は良好ですが、、やはり年齢でしょうか。
ひとりでも恵まれたことには感謝しています。この子のためにも兄弟を作ってあげたいという気持ちも強いです。

毎月生理が来ると落ち込むのにも疲れてきて、そろそろ諦めて気持ちを切り替えるべきタイミングなのかなとも…

同じような方いらっしゃいますか？
妊活を諦めた方、気持ちの整理の仕方を教えてください。