『誘いを断る』事に関して、2点皆さんの意見をお聞きしたいです

もともと人の誘いは断れないタイプだったのですが、難しいときはしっかり断れる人になりたいと思っています。 でも断ったあと何故か落ち込んでしまうのです。 その人と遊びたい気持ちはあるのに、断った事でもう誘ってもらえないのではないかとか、断り方が失礼ではなかったか、などです。 1.断ると落ち込む事が、いちいち落ち込んでいたらせっかく体を休ませようと思って断っているのに逆に病んでしまうのでどうにか考え方を変えたい。 自分的には周囲の方で、『そんな理由で？！』と感じてしまうことや、すごいタイミングでドタキャンする方もいるのに、 そういう方が人間関係が崩れているかというとそうでもない事が多いです。 自身も実際それが原因でこじれた事などは無いですが、フテっている様な態度を取られると不安になってしまいます。 皆さんは断るときに落ち込んだり気にしたりならないのか、伺いたいです。 2.私の断り方で失礼なところがあれば教えて頂きたいです。 素直な気持ちとして、行けない事情＋行きたかった気持ち＋誘って頂いたのにすみませんと思うので、 すみませんやありがとうございますと入れてしまうのですがそれは失礼だと言われた事があります。 すみませんと言う人は社交辞令ばかりだから信じられないとの事です。 そんなつもりは無かったので理解出来なかったのです。ただ確かに相手からしたら重いのかな、と思い一時期なるべく使わない様にしていたのですが、 思ったままに文章作るとそうなります。 また、友人関係としたときに私があまり断られる事が気にしないタイプなので、 断った際にフテってしまう様な態度が返ってきたりすると頭が『？？？』となってしまい余計返しが困ってしまうところもあります。 分かりづらい長文ですみませんが、ご意見頂きたいです。