派遣で決まったお仕事の辞退はできるのか

派遣で長期のお仕事が決まったのですが、以前、派遣に登録に行く前、履歴書を出した会社があるのですが、２週間たち返事がないので諦めていました。でも派遣の仕事が決まった同じ日に、履歴書を送った会社から、面接のお電話がありました。

そこは雇用形態もアルバイトで、時給も安く、派遣で決まった仕事より条件は随分落ちますが、自分のしたい方向に近いのです。派遣の終業日まで２週間くらいあります。
こういう場合、決まった派遣の仕事をお断りする事はできるのですか？これでお断りした場合、もうそこの派遣会社との縁は切れてしまうのでしょうか。また、こういう場合のお断り文句って、どういうのが円満なのでしょう？