悩みます

確かに働きづらそうなところですね。
でもあなたが「固まってしまった」のもまずかったかな。
即答できなくても黙ってちゃ駄目ですよ、職場なんだから。仕事です。

せめて「急におっしゃられましても。少し時間を頂けませんか。明日にはお返事いたします」なり「まだ移動はしたくありません、仕事も覚えてきたところで。なんとかなりませんか」なり意思表示はいる。

＞まるで私が即答しなかったからその方が移動するかの様な態度を取られています。

そのとおりなんじゃないの。
黙って固まっていたら「ああ、嫌なんだな」って。じゃあ他の人にってなっただけでしょう。

でもね。あなたの文章からしかわかりませんけど、本当に変な職場であり、他に転職の目処もたつなら、辞めていいんじゃない。
他に良いところが全然ないのなら。お給料とか福利厚生とか勤務時間とか。

トピ主さんの文章はトピ主さんの思い込みが強そうに感じますが
その時の相手との言葉のやり取りが省かれているために状況がわかりづらいのですが

＞他部署へ移動するように言われ

そもそも、これはもう会社の上の人が決めた決定事項で辞令だったのではないですか？
トピ主さんは翌日に返事をしようと思ってたようですが
「明日まで返答は待ってください」と言って許可を取りましたか？

会社の人はトピ主さんに異動のことを伝えた途端
トピ主さんが黙り込んだか、嫌な表情をしたとかで「まぁいいや」と
もうトピ主には期待できないからその時点で別の人を探すことにして
君はもういいよ席に戻ってね　って意味で言ったのでは？

＞仕事を教えて欲しいと、段取りを知りたいと訴えても、自分たちの暇を恐れ仕事を回してもらえず

これも、手が足りてるのならわざわざ求人なんて出さないと思うし
仕事を回してもらえないのにはトピ主さんに任せるのは難しいとか
別の理由があったのではないでしょうか？

＞職員の方に、ここは怪しくないかな？と言われた

怪しいとはどういう部分でそう言われたのですか？

なんだかトピ主さんの対応にも問題がありそうに思うけど
意思表示はきちんとしてますか？
教えてもらった仕事はこなせていましたか？

石の上にも3年、3年すると会社にも慣れ落ち着くと言います。
それ以前に辞めてしまうと転々と職を変える事にもつながるような気もしますが。

タダ今の時代、会社も選ばないと怖い時代でもあります。
それを判断するのは主様。
ハローワークなどでもう一度情報を集めて駄目な所なら早くに辞める、大丈夫なら3年頑張ると言う事です。
そして辞めないで居て体を壊すようなら　会社が何を言っても辞める事でしょうね。
辞めてひどい仕打ちを受けるなんて事あるんでしょうか？
辞めるもとどまるも主様の自由と思いますが。