何事も「しんどい」という夫との暮らし方

結婚３年目のミミ（32歳）と申します。

私の夫は優しく、仕事にも真面目でお酒も飲まず、妻をこよなく愛してくれる人です。

ただ、あまりにもエネルギーが少なくて何をするにも私が無理やり引っ張っていく（そして「君が好きだから僕頑張ってつきあうよ」という）感じです。

かつて私自身と似た男性（は一緒にいるとドキドキさせられるけれど心配の種も多い）とのつきあいに疲れ、彼の優しさと穏やかさに惹かれて結婚した私ですが、結婚３年目が経った昨今、毎回尻込みする夫をなだめすようにして過ごすのに疲れ切ってしまいました（たとえば休日の過ごし方）。もう心底疲れ切っています。

家でじっと大人しく音楽を聴いているか読書をしているかの夫（友達もほとんどいません。でも彼はそれで幸せだそうです）を置いて、自分と気の合う（もちろん女性のもしくはグループの）友達と、彼が「しんどい」と思うアクティブ系の趣味を楽しんで、いいものでしょうか？
ちなみに彼は、彼を誘うと「しんどい」と言う割には、彼を置いて私が出掛けるといじけます。

どうすれば、こんな（夫＝１人を好む、もの静か、妻＝友達が大事、元気だけが取り柄）夫婦が上手くやっていけるでしょうか？