【派遣】契約終了理由に納得がいきません

昨年3月から先月まで派遣事務で就業しておりました。同じ業務の派遣は2名で、契約を自分で終了する方の後任という形でした。 でも入ってみてびっくりで、残った派遣の方がものすごい方でした。 まず社員の方にはほぼ全員タメ口で、離席も一日に3回～5回、1時間とか平気でします。それでも仕事ができれば問題ないのですが、仕事もほとんどやらずに、ネットとおしゃべりです。しかもたまに仕事すればミスだらけ、ミスを押しつけられたり何度も悔しい思いをしました。以前は私の前任の方がほぼすべて業務こなしていたようです。派遣会社にも相談しましたが、埒があかず悶々としていたところ、派遣先社員の方が「Ａさん（問題のある方）は、部長と深いつながりがあるからどうすることもできない。でもまきおさんががんばっているのはみんなわかっているから」とおっしゃってくださいました。その後は派遣先上長や社員の方の取り計らいで、席を離してもらったり、担当業務を分けていただいて、だんだん順調にいっていたのですが・・・ 2月最終週に、突然契約終了を告げられました。私もＡさんも二人ともです。派遣先上長は「予算の都合で」とおっしゃっていましたが、他の社員の方、数名から「Ａさんだけ終了にしたかったけれど、一人だけ終了になると、あの性格だから大騒ぎする、労基とか自分のつながりのある社員にあることないこと言いまわるから、申し訳ない、まきおさんは被害者です」というようなことを言われました。 業務上も人間関係も（Ａさんのこと以外は）問題なかったので、ものすごくショックで・・ただ騒いでも仕方ないのかなと半分あきらめて終了しましたが、今になってすごくくやしくなってきました。会話を録音していたわけでもないし、メールもプリントしていなかったので、証拠はないですが、労働基準監督署なりに訴えることは可能でしょうか。混乱していてすみません。