これはわがままですか？

今付き合っているのは職場の上司なのですが、私はパートで時給制です。今彼氏は違う部署なので、私の直属の上司は別にいます。直上司は
やれる事を増やしてどんどん会社に必要な人となるようにと仕事を回してくれます。ですが、彼氏は自分に向いてない事は言われてもパートだから責任取れません、断れと言います。
そうするとお給料は期待できないのと、仕事もふられ方が違ってきます。
結婚してて、お小遣いや生活の足しにの仕事なら素直に聞けるのですが、私は1人暮らしで生活かかってます。だからと言って一緒に住む話しは転勤になるかもしれないからそうなってから考えようと保留中です。
確かに私は言われたら断りきれず嫌な事も受け入れてパンクしてしまう所もあるので、彼氏の言う事も間違いではないのは分かってますが、お金の事や嫌われたくない気持ちが捨てれず、断らずに、これする事になったと彼氏に伝えたらオレがあれだけ言ってるのに誰にこびをうってるのか、と怒ります。
彼氏は人には向き不向きがある、みんながみんな同じ事が出来なくても、私は充分会社の役に立ってるし、それでいい、そのままでいいと言ってくれてます。
彼氏の言う事も分かっていますが嫌われたくない、お金も欲しいと言うのはわがままなのでしょうか。今貯金するのが難しいくらいのお給料が現状です。
彼氏にどう伝えたら円満に解決するのか私には思いつきません。よろしくお願いします。