結婚3年目、離婚すべきか悩んでいます。

　32才社会人男性です。
4才年下の妻（子どもはいません）と結婚生活を続けるべきか悩んでいます。

　「二人で働きながら助け合って生活していこうね」ということで結婚となり、結婚生活3年目になりました。現在私が働きながら二人でアパート暮らしをしています。仲の良い夫婦だと思っていますが、双方不満な部分もあり、口論になる頻度も増えてきました。

私が問題にしているのは以下の2点です。
1妻が働かず、私の収入に頼っていること
2セックスレス

1妻が働かず、私の収入に頼っていること
　妻は大卒後アルバイト生活を続けていました。結婚時に医療系の資格を取得・就職しましたが、社会人経験に乏しいためか半年も持たずに退職しました。その後は結婚前と同様にアルバイトです。常に口では「就職する」と言いますが、就活先も大手企業など現実味を欠いたところを選んだり、自分のやりたい仕事・職種も定まっていないようです。時には「発展途上国にボランティアに行きたい」とも話しており、その度に口論になります。最近では就職の話をしても妻は「自分で考えるから放っておいて」と聞き耳を持ってくれなくなってきています。
　私としては、2年以上就職しない妻の社会人としての未熟な面に日々落胆しており、このまま生涯を共にできるのかなと不安です。

2セックスレス
　結婚以降性交渉が全くありません。
これは私に原因があり、妻に異性を感じられなくなってきたものです。
結婚前から少しずつ性交渉の機会は減っていて心配していたのですが、夫婦とも子供は欲しいと思っており、私も性的欲求が満たされずストレスを感じます。
　
　妻の方でも私に対する不満が何点かあるようで、1度だけ離婚話も出ました。やり直し（離婚・再婚）するなら今のうちと考えています。
人生の先輩方のアドバイス、お願いいたします。