もう離婚するしかないのでしょうか？

結婚２年目の兼業主婦（子どもなし）です。 ２年程順調につきあった後、お互いが２５歳のとき、私が婦人科系の病気のため妊娠できる可能性が低いことが判りました。両親からは「子供も産めない女と結婚する男なんているわけない」と号泣され、つらかったのですが、彼が「子供がいなくても２人で暖かい家庭を築こう」と励ましてくれました。１年後、結婚の話題を彼にふると「転職したいと思ってるし、結婚なんて全く考えていない。」とあっさり言われました。何度も話し合い、結婚することになりましたが、私は、病気が分かった時の彼の言葉を本当に心の支えに頑張ってきただけに、それをすっかり忘れている彼に不信感を覚えました。（一旦婚約したあと、やっぱり結婚したくないと言われたこともあります。）やさしい人なのですが、結婚後もなにか裏切られたような思いがぬぐいきれずささいなことで喧嘩になってしまいます。彼の転職が決まって引越しすることをきっかけに、離婚しようと彼から言われました。どういう経緯にしろ結婚したのだから、信じてほしかったと彼は言います。私が悪かったのでしょうか？どうしていいか分かりません‥