転職した方がいいのでしょうか？

私の勤めている会社は正社員が私ひとりです。後は上司がひとり。アルバイト・パート・契約社員等はいません。

規模の小さい会社なのですが、有給がとりづらいです。
この場合はどうすればいいのでしょうか？

労働局に相談は出来ますが、後々気まずくなりそうだし…。
でも、体調悪い時などは休みがとれないと困ります…。
休んで休めないこともないですが、やはり迷惑がかかるのでとりづらいです。

上司もいつも事務所にいる訳でもないので、私が休めば会社に誰もいなくなってしまいます…。

今まではなんとかやってきたのですが、仕事は辞めた方が無難なのでしょうか？