仕事の誘いを断るのは良くない事ですか？

だいぶ前（数年前）の話なのですが
パン教室で先生（男性）から、そのパン教室を主宰するパン屋で働かないか？と言われましたが、
当時、体調が悪く、でも体調の事には触れたく無かったので、別の理由を言い、丁重に断ると、
一緒に習っていた同い年の女性に「失礼だ」云々と言われ、その後の態度が嫌味ばかりになられ、とても悲しかったのです。
何、その態度？体育会系？大きいハッキリした物言い止めてよ。失礼だ。等々とも言われました。
全く、横柄な態度を取っていませんでしたが。

最近、久しぶりに、そのパン教室の店の方に買い物に行くと
当時仕事を誘って来た先生はとっくに辞めたとの事で、その先生を知る従業員の方が
先生が勝手に辞めた事を怒って話してらしたので、私を誘っておきながら、先生も辞めたかったのでは？と推測してしまいました。

こんな状況を、当時失礼と言った人は知る由も無いと思い・・・。
その方は、先生のメンツばかり重要視していましたが、私にも都合が有り、その上先生自身がさっさか辞めていた。

どうしても働けない都合が有るとしても、仕事の誘いを断るのは、良くない、非常識な事でしょうか？