親権・養育費について

はじめまして。
私は21歳で、離婚して3年半の24歳の彼とお付き合いしてます。
子供は5歳、元妻は24歳で子供が生後3ヵ月の時から週に3回実母経営のスナックに勤務。

離婚原因は元妻の浮気。離婚の際、お互いの家族で話し合い子供が母親を選んだ為親権は元妻に。
その他［元妻が昼間の仕事を見つけるまで仕事の時は子供を預かる］のと［子供が20歳になるまで月々3万円の養育費］を求めてきました。
彼は子供の為と思い離婚は留まりたかったのですが、聞き入れてもらえず誓約書には彼の親がサインしました。
離婚後は離婚原因である彼との薬物使用での暴力等問題が多数あり、彼はその度子供を引き取りに行き復縁の話もしてきました。
06'７月頃傷害事件があり、元妻の彼と元妻と元妻の兄と彼とで話し合いをし［二度と会わないと約束する］それができないのであれば［子供は彼が引き取る］と誓約しました。