経営者の妻はタダ働きが当たり前？（愚痴、かも…？）

はじめまして。もうすぐ２７歳女性です。
大卒で、今の夫（３７歳）が経営する会社に入社、２年後結婚しました。
もともと、その職種に憧れがあり、学生時代アルバイトとして働かせてもらっていました。そこで夫の仕事ぶりや人柄に触れて好きになりました。
入社後は事務８割、現場２割といった感じの仕事内容です。
結婚後もそれは変わっていないのですが、一部（全員ではありません）の社員の方の言葉に悩むことがあります。
・私は楽な仕事でよい。自分たちは（現場なので）きつい思いばかりしているのに。
・ラクして稼げてよい。自分たちは薄給なのに。
・（趣味で楽器を習っているのですが）社長夫人は優雅でいいねえ。
・社長夫人なのだから、社員でなくてもいいのに。
まとめると、こういうようなことを私に向かって言ったり、私に聞こえるように言ったりします。確かに、自分より後で入社した私が社長と結婚、というのは面白くなかったと思います。
しかし、１人事務で創業数年の会社の事務経理システムを作り、雑務全般、社長秘書的な仕事、現場にも出て…入社から今まで、決して楽だったことはありません。
あてこすりを言う社員の方が楽したい、さぼりたい、と考えている間も、会社のことばかり考えてきました。小さな会社ですから、夫は勿論そうです。
贅沢な暮らしをしているわけではなく、生活できるだけの給与をいただいています。社員の給与は下げたことはありません。この夏の賞与も、決して多くはありませんが出せました。

一言でまとめれば、こんなに頑張っているのに…という気持ちです。
夫はもっと、そんな気持ちが大きいのでしょうけれど…。

でも社員の方が私の事でイヤな感情を持っているのは事実。
何か変えることで対処できるなら、そうしたいです。好きな業界、夫が育ててきた会社、大切にしたいのです。
どんなご意見でも構わないので、お聞かせ頂けると嬉しいです。