養育費の審判について

はじめまして。
ひとり親家庭で娘と暮らしている彼方と申します。
養育費に関しての調停→審判となったのですが、結果に悩んでいるので皆様のご意見をお聞かせください。

約６年前に離婚。当初は元妻が親権を持ち自分が月々養育費を支払っていました。
離婚より半年が経過したころ、元妻より娘を返すと言われ親権を異動。
幼い娘と仕事の両立が難しかったため実家に帰郷しました。
帰郷の際に口頭ではありますが、月々２万程の養育費を支払うことを約束。
しかし、この６年間に支払いは一度もなし。
元妻とかなり離れた地域で生活していたため調停など諦めていましたが
仕事の都合で通える範囲に転居したため調停を申し立てました。

私の言い分
・お金を欲しい訳ではないが、娘に責任を持ってほしい。
元妻の言い分
・結婚前と結婚時に貸したお金を返してもらってないから養育費を払わない。
・不況で大変だし、腰が痛いからあんまり働けない。払えても月々２０００円くらい
・田舎で育てるのは娘の教育上良くないし、グダグダ言うなら娘をこっちに返せば？
　うちの両親はあんたの所と違って金持ちだし。
・今まで面会を断られてた

借金はしていませんし、面会を申し込まれたこともありません。元妻の収入は私より少ないですが、同じ映画を映画館で４回観たりと生活に困っているかは疑問です。調停を重ね話し合ってきましたが、お互いが平行線で先の見えない話だったため審判へ。

・元妻は養育費として月々５千円を支払え
・養育費とは現在必要とされる監護に対する費用であり、過去に遡って負担を命じるべき事情は認められないので調停を申し立てた日より養育費の支払いが発生するものとする。

上記のような結果が送付されてきて、過去分は認められなかったわけですがこれは妥当なんでしょうか？