特別扱いはいらんがつわりの私にそれはひどい！

第一子を妊娠三ヶ月の者です。 全てが未知の体験で不安と戦いながら 日々安静にしています。 仕事もWEB関係の外注をしているので週1度、会社 に行く程度です。（社員数人の小さな会社です） が、それすら今回は体調が悪くて （気持ち悪いのと体がだるいので）自分で運転する 事すらままならず、休む旨を社長（男性）に伝え、 了解してもらいました。もちろん、妊娠の事も社長に は言っていたので理解してくれたと思っていたら…。 同じ外注さんから 「こないだ休んだね～。つわり？ 　社長が”ガチャムックさん、ビールの 　飲み過ぎなんじゃない？”って言ってたよ」 と聞かされ、腹が立つやら哀しいやら… 別に妊娠してるからって特別扱いして欲しいとも 思ってません。 普段は仕事も休む事なく納期も守ってます。 社長にはご家族もいるので全く知識がないとも 信じ難いのですが、その後も平気で片道100キロ くらいあるクライアントの打ち合わせを 都合も聞かずに入れられて閉口してます。 やはり仕事を続けて行くならある程度我慢すべき ですか？それとも無理な事は無理とはっきり言う べきですか？ 愚痴っぽくてすみません…