今のパート、辞めるべきか継続するべき悩んでます。

アラフォーのパート主婦です。縁あって今の会社にパートで勤め始めて２年以上経ちました。どこに行っても全てがいい会社がないのは重々承知なのですが、 お昼休みなど、業務以外の会話がほとんど皆無というか、息がつまりそうなんです。遊びに行っているわけではないので、煩わしい事がなくていいじゃないと言われるかもしれませんが、正直苦痛で。最初の頃は気にせず話したりしていたのですが、静かなので皆がその会話を聞いている（というか耳にはいるんでしょうね）という状況が続き、その人には話してもいないプライベートな事を知っている（聞いていた）という事が嫌で、私自身も会話を控えるようになりました。当たり障りのない会話でも聞こえているかと思うと話したくなくなって。聞きたくないのに、静かなので周りの人のプライベートな会話もお昼休みは筒抜けで。 デスクでネットしたり新聞読みながらお昼を食べてるんですが、後から入った人も同じで、最初お昼休み他愛もない話をしてたんですが、皆さんが聞いているのと「静かなのダメなんです」と言って、お昼を食べてどこかへ行ってしまっています。休憩室もないし、外出もしていないようなので何処にいっているのか謎です）デスク以外のトイレや休憩室では気兼ねなく話せるのですが、あの独特のシーンとなったフロアで皆さんがお昼ねしたり無言でパソコンしたりしている事に物凄くストレスが溜まります。無言だったストレスが、家に帰ってからの子供や夫へのイライラにつながったり、家を片づけたり大好きな趣味をやる気さえも起こらない無気力感を生みだしたりで、家の中も雑然として情けなくなります。 お夕飯作るのもやっとです。夫にも家も散らかるし、自信も辛いと伝えたんですが、「今の会社以上に条件等のいい所はないと思うよ」と言われると、確かにそうなのでアラフォーの私としては何も言えなくなってしまいます。どうしたらいいでしょうか。