子供欲しいし…

夫27歳、私35歳、結婚３年目です。日常の夫婦仲は良好ですが、夫婦生活は問題アリです。
主人はかなり淡白で本人の希望に任せると関係が無く過ごせてしまうようなタイプです。
本人、嫁は優しいし趣味も仕事も充実して毎日平和で我が家は本当にいいな～と呟いたりはしています。

子供がなかなか出来ないのには私の体調も関係していると思いますが、頻度にもあると思います。
（病院にはかかり、具体的にどう取り組むのかを考えているところですが…）

主人は一度眠くなってしまうと自分でどうにもコントロールできない体質？です。
我家は週末１回が精一杯で、結局平均月３回という状態で、主人も会話の上では、排卵日にしよう、週末しようとは言うのですが
何回かに一度は　週末しよう→用事＆主人がしたい事をして夜が更ける→眠くなる→出来ない…このパターンに陥りお流れとなります。
私からすると、たった一回週に一度のこの事に対して　自分の体質を分かっているのだから
心掛けてくれてもいいと思うのですが、何かにつけて後回しになり大抵が半寝、あくびまじりです。

先日も夜遅くなり即眠れる状態の主人に「じゃ、しよう」と言われ、私は同意できませんでした。
過去には、最中に主人に寝られた事もあります。子供も欲しいし妻としても寂しいというのが本音です。
主人は「眠くてもするって約束したんだし、俺はするつもりでいた、何がダメなのか」と言いますが
10秒黙れば眠ってしまい、意識も朦朧としているのに「約束したからする」と言われてもそれは違うのではないかと思います。

自分が特にしたくない中で私に合わせてくれる自体は感謝してはいるのは大前提ながら
主人の気持ち一つで状況は変えられる気がするのですが…何をどうしたらいいのか、客観的にアドバイスいただけましたら幸いです。