知人友人から誘われて職場を変わった経験のある方

現在本業のパートがあります。
友達になったＡからずっと「自分の職場にこないか？」と誘われていました。
私たちの職種は違いますが、たまに顔を合わせるような関係です。
本業の会社には正直不満があるのですが、仕事内容や収入には不満がないため、誘われるたびに「今は職場変わる気ないの。ゴメン」と謝って断っていました。
それが最近、Ａが職場の人に私の話をして「とにかく一度その人を連れてきて」という話になってしまい、なぜか履歴書を持って面接になってしまいました。面接になった時点で腹が立って仕方なかったのですがとりあえず先方にはっきり断る気持ちと礼を尽くす気持ちで行きました。
面接の場でも「今の会社（本業）をやめたくありませんので」「Ａさんには今の会社を辞めたくないことは何度も話していた」
「本業を辞められないので週１日しか入れない」と言い続けました。
そこで察してくれるだろうから不採用だと思っていました。
翌日Ａの職場から電話があり「週１日でもいいから来てください」と。
その時点でなぜ断らなかったのかと思いますが、もうどうでもよくなってしまい「週１日なら」と返事してしまいました。
（そこの職場は私の職種上経験しておいても損はない職場のためいいかなという打算もありました）
それで事務手続きに行った際に「いつ今の会社は辞められますか？」「あと何日増やしてもらえますか？」と詰め寄られました。
その場でお茶を濁したのですが…今週から出勤ですごく憂鬱です。
初日行って「私には無理です」と言って辞めてしまおうかと考えています。
Ａには悪いとかは考えていません。（もうＡには十分義理立てしたと考えています）
皆さんが私の立場ならどうしますか？