派遣の面接後　自分から辞退する時

先日派遣会社からの紹介で１社面接に行ってきました。 実際に行って見ると職場環境が私の想像と少し違ってました。 何というかとても狭い事務所で、皆しーんと仕事をしていて。。 第一印象で何だか怖いと感じました。 今までの職場が賑やかだったのもあり自分に合わない印象でした。 企業の面接官と話した時も、 「あなたの能力だと仕事を持て余すかもしれない」 と言われ、気に入ってもらえてない感じも引っかかりました。 面接後、営業さんに「どうでした？」と聞かれたのですが、 その時点では即答できず、 今契約を結ぶか断るか派遣会社に答える時間を貰っています。 その企業は他社競合はしておらず、 私がOKすれば私に決まるとの事なのですが。。 営業さんは「環境はすぐ慣れます」と言ってましたが、 乗り気になれないので断る方に傾いています。 ただ、上記の様な職場環境が合わない気がするってだけで 断るのは派遣会社に我侭だと思われる気がします。 皆さんは面接時に自分に合わなさそうな職場環境だった時、 どんな言い方で断りますか？