工場・出荷作業辞めたい

自分は正社員の派遣で、8月下旬から出荷作業の仕事をしているのですが、喘息により体力もなく、背中から腰に掛けて痛くなり体力面でもきついので辞めたいです。

もともと派遣先とのギャップが無いようにあらかじめ職場見学というのを
して自分と職場、派遣先と自分がマッチをした上で面接に受かれば
そこで働くと聞いていました。

しかし自分は喘息で体力が無く、
アトピーや鼻炎、ホコリなどのアレルギー持ちで工場で支障なく働けるような体ではなく、マッチングもしてないにも関わらず面接に合格し、
会社から拒否権は無いと言われ止むを得ず働くことになりました。

しかし前述の症状以外にも初めての仕事、一人暮らしで慣れない職場と
一人暮らしと環境のせいか寮に戻ると孤独感を感じ毎日の食事もあまり取れず、無理に食べようとしても箸が進まずに残してしまうこともよくあり正直きついです。

そこで自分の担当をしている方に連絡を取り
「今の仕事なんですが、長く続けられそうにありません」と言うと
「毎日の生活を変えてみるとか、前向きに考えて1年は仕事してみてください。」と言われどうすれば今の仕事を辞められるのかわからなくて
誰にも相談できないまま１日１日過ぎていく状態になっています。

もう一度話し合ってみるつもりですが、どう話せばいいのかわからないので、教えて欲しいです。
あと仕事を始めて1，2か月で仕事を辞めたいと考えるのはおかしいですか？