私の考えは変でしょうか？

私の考えが変ですか？教えて下さい。  主人は4年前に独立して自営業をしています。 私は直接関わっていないですが、周りに似たような業種の方がいたら、もし何かあったら是非声をかけて下さいと言っています。そのお陰か何度かお声かけていただいたりしました。  しかし、主人はせっかく声をかけてもらったのにこの仕事はあーだこーだ文句ばかりです。しかも私が声をかけたものばかり文句を言います。  文句言われるのが嫌で、最近は声をかけてもらっても断ることが多いです。家計のためには少しでも仕事があった方が良いと考えていますが主人に文句を言われるストレスが嫌で。  先日もお声をかけてもらいましたがお断りしました。ふとした会話でその話になり主人に  「知り合いの旦那さんが社長さんで、同じような業者だったからもし何かあればよろしくお願いしますってこちらから言った人がいて、この前仕事あるんだけどって言われたけどあなたに文句言われるの嫌だから忙しいみたいで。と断った」と言ったら、「なんで勝手に言って勝手に自分で終わらせるの。いい仕事なのに。」と、言われました。  “勝手”って。その言葉が胸に引っかかっています。  確かに相手の方には失礼な事をしたと思います。こちらから何があればお願いしますと言っておきながらお断りしてしまったことは反省しています。  でも、主人に何を言われるかわからないストレスの方が私には強かったです。  文句言われることが嫌で、お断りしていることが何回かあります。  私の考えは間違っているのでしょうか？