好きだけど楽しくない片思い

私は、３３になる男です。　　　　　　　　　 長く４年ほど気になる存在の女性がいます。 はじめから説明しますと、私が転職した職場で出会いました。 その女性と仲良くなるまでは早かったです。 同じ町内に住み、買い物へいく場所も一緒で私を見かけたこともあったという内容の会話してからはお互いに打ち解けあい、プライベートの会話もしていました。タオルを貸してくれたり、おにぎりを作ってくれたりしたこともありました。 女性は、私より５つ上で子供二人もつバツイチです。 でも私は連絡先を渡し、子供たちとも仲良くなり親しい日々が続きました。 そんな中、職場に出入りする業者さんが女性の弟さんだと知りました。 歳は私の２つ上で親父さんと二人できてました。 そして私は現在その女性の身内さんの所で働いています。弟さんに誘われて入りました。 女性とは２年前に身内さんの所に転職する間近で、連絡やり取り止めよって突然言われてからしていません。 会社が家なので、毎日　毎朝　女性を見ますし、会うときもあります。 子供たちも中学三年になり大きくなってきました。 しかし、誰も居ない時でないと会話はできません。　 女性と二人で談笑してたら弟さんに怒鳴られ、玄関に女性がいると親父さんがブラインドを下ろし、庭に女性がいると用もないのにお袋さんが出てきて間に割って入ってくる。 女性とは、会話すれば仲良い当時の感じのままですが滅多に会話なんてできません。 いつも挨拶だけ。 そんな日々を４年過ごしています。 辞めれば楽になると思いますか？　　　　　 せっかく女性が可愛い笑顔で話しかけてくれても普通に出来ないし、演じるのも疲れてきました。 過酷な労働と叶わない片思いで肉体メンタル共に辛いです。