アルバイトのことで迷っています。

つい最近に採用が決まり、働き始めた職場があります。
どちらかといえば内容（以前同様の職場にいたため）と勤務地（近い）で選んだもので正直、条件はよくありません。
（交通費はなく、社保労保もない）
フルタイムで週5日の出勤ですが、仕事自体は大変に楽で初日から「やっぱりこの時給だとこんな内容なんだ…」と思ってしまいました。
おこがましいことを言っているのは重々承知です。

ただ、働き始めた矢先に、より条件がよく、自分の経験にも合致している求人が複数出てきました。もちろん全て応募をして1件は面接も決まっています。
ですが面接のために、アルバイトを遅刻・早退する必要があります。
どちらかと言えば、書類選考は通りやすいです。なので今後も、面接の機会は出てくると思います。
その度に職場の人にまさか「違う職の面接に行くので」とは言いませんが、別の理由にせよ続いてくると、やりづらくなりそうです。
面接ですのでスーツ・ジャケット等を着ていきたいけれど、周りは皆カジュアルな服装なので、それも浮いてしまいそうで、その点も困っています。

アルバイトをしつつ、転職活動もなさっているみなさんはどうしていますか？
今すぐ辞めたい、というのではないのですが、面接のたびに遅刻や早退、場合によっては欠勤することになるかと思うと頭が痛いです。
続けば当然先方も「仕事を任せられない」と思うでしょうし…。
経験のある方は、どうなさっていたか教えてください。