お試し中　辞退してもいいですか？

現在　パート求職中のアラフォーです ハローワークでみつけた　ある軽作業の工場のパートへ応募しました そこは知人Aが在籍しているのは知っていたので Aさんに会社に紹介してとお願いしておきました で　この会社から「内定前に一度　職場を体験していただきたい」といわれ 行きました そこでわかったのですが 冷暖房がない会社　かつ　冷たい物を扱う　倉庫内の作業場ですが 作業中はシャッターを開放して仕事をする場所でした 動き回る仕事ならよいのですが　これで座り仕事 今までこの部署で1年以上勤めた方がいないそうです 前任者も半年で辞めるそうですが 理由は冬の環境　そしてトイレだそうです 他にもトイレが古い（和式・男女共用・電気が無いから灯窓のみ）のも閉口しています 知人Aとお知り合いというのは　初日に全員知っていました が　実は知人Aにお願いした後　 AがAのご主人と私の悪口を言いあっているのを偶然聞いてしまいました （仕事をお願いした事以外の内容でした） 私はAのご主人とはスーパーで出会った時の挨拶程度 顔もあまりよく知らないお相手です 聞いたときはショックで　この会社の事をお願いするんじゃなかった 落ちたほうがよかったと思ったくらいです 仕事内容としては理想どおり　待遇もこの近郊では上だと思います が　上記の作業場の条件　そして　Aとのもんもんしている状態で とてもAと一緒の職場にいたくない　というのもあります 仕事を探して数ヶ月経過していますが　全く求人のないところで これをのがすとまた半年程みつからないかもしれません もちろん会社にはAとの事ではなく　仕事が思ったものと違ったから　とか 理由を変えて辞退するつもりですが こんな理由で辞退するのは　失礼でしょうか？