贅沢な悩みなのでしょうか？？

結婚６年目です。私は結婚前の職場でずっと働いています。

年齢的なこともあり、婦人科検診のついでに不妊治療も始めることに
しました。最初はタイミング治療です。

そのとき気づいたのですが、（のんきと思ってください）
レスで２年くらいしてなかったのです。
それに、結婚して一度も○出しをしたことがない事に気づきました。

病院に行っているのを伏せて勇気を出して誘いました。
最後までできませんでした（表現的に言うと男がヘニャです）

その後、病院に行っていることを告白し
次のタイミングでチャレンジしましたが、
私の足が痙攣して（よくなります）終了。。

それまではよかったのですが（タイミングの時だけしかできませんが）
その次に、誘ってみました。。

「俺が働いている時間に病院にいって、ヤルことしか教えてもらってないの？」
「どうして、中々子供ができないの？」
「いいね。仕事が暇な人はいろんなこと考える暇があって！」
といわれました。
言いたいことはいっぱいあったけど、びっくりして言えませんでした。

病院でそのことを話すと（タイミングの後は体外受精の計画でした）
大変驚いて、関係は大丈夫？とまで言われてしまいました。

離婚・・・のことも考えていますが
住宅借入金等の問題もあり、
すぐどちらかが出て行くこともできません。
裁判で離婚することも考えましたが、
裁判所で上記のことを話すのは恥ずかしいです。
それに、裁判等になると会社を早退等になるので
会社にばれるのもいやなのです。

最近は休みの日に、一緒に行動すると
動悸がしたり頭痛がします。

どこに相談したほうがいいかわかりません。