仕事が暇すぎて辛い

仕事が暇すぎて辛いです、、
私は32歳妊活中の女です。
正社員で事務の仕事をしています。
一年前から暇な部署に移動になりました。
以前の部署は同世代も多く、仕事も多く充実していました。
今の部署は1日1時間で仕事が終わってしまいます。
人数は私含め4人で、私以外は定年待ちのおじさんです。
悪い人ではないですが、特にもりあがる話題もなく、社内はシーンとしています。
最初は何か暇をつぶそうと、ファイリングしたり掃除をしたり、本を読んだりしましたが限界になりました。1年経った現在は、ひたすら机に座り、時間が過ぎるのを待つ日々です。
暇すぎて、何をするにも億劫になってしまいました。
暇が続くと、考え事ばかりしてしまいネガティブになり、自分に自信も無くなり、笑っていないので顔も老けたきがします。

良い所は、現在妊活中なので、急な休みにも対応してもらえることです。

主人は辛ければ仕事を辞めてもいいと言ってくれますが、家も建てたので金銭的な不安もあるようです。

現在の仕事を退職したら、妊活中という事もあり正社員で雇ってもらうのは難しいのでパートになります。
収入はかなり減ってしまいます。

このまま暇で辛い職場を耐えて続けた方がよいでしょうか、、
収入が減っても辞めるべきでしょうか。
ずっと考えても答えがでず、悩む日々です。
ご意見等お願い致します。