仕事を続けるべきか

私は地元の中小企業で、建築不動産の営業をしている26歳男です。今の仕事は丸4年で、土地や建物を持っているオーナーさんに対して、飛び込み営業で賃貸住宅などの新築や、土地建物の売買や賃貸仲介をするのがメインの仕事です。 建築の営業は、アパートマンションの他、工場や店舗などの提案もします。 正直な所、今の仕事を続けるべきか、迷っています。 理由は、いつまでも飛び込み営業でなければ仕事を取れず、安定して仕事を取れる訳ではないので、先行きが不安なことが一つ。もう一つは、人手不足で社内での業務が滞りがちで、お客様ではなく、社内の人間に頭を下げ続けなければならない事が苦痛になっていることです。 折角苦労して仕事を取ってきても、忙しいだの何だのと理由を付けては、作業が進まず、お客様からは何をやっているのかと怒られる始末。。。 早く別の会社に転職した方が良いのでは？とも思う一方で、今まで飛び込み営業で開拓したお客様からの信頼からは、しっかり面倒を見て欲しいと言われてもいるので、辞めるのはお客様に申し訳が立たない気がして、迷っています。 また、自分には転職できるだけのスキルも教養もないので、仮に転職できたとして、やっていけるのかも不安です。 こんなとき、皆さんはどう思われますか？もし、ご意見がありましたら、お願い致します。