住宅ローン、借り換えしたほうがいいですか？

約３年前に２７００万の住宅ローンを組みました。３５年の住宅ローン１０年固定１．８５％です。
１００万繰上げ返済したので、残り２４５０万ほどあります。繰上げ返済するにも２万円の手数料をとられます。
今、借りているところは会社の関係で保証料がタダだったのですが他に借り替えた場合、保証料をとられ逆にマイナスになるのでしょうか？

知り合いで３５年ローンで同じ１０年固定で金利１．３％と聞いたので家は随分損をしているのでは？と思いました。他に借り替えたほうがいいでしょうか？
無知で恥ずかしいかぎりですが教えてください。
また、粘れば金利って安くなりますか？