産休を取得して、職場復帰後すぐ退職した場合給付金は返還？

はじめまして　 初投稿させていただきます、あっこと申します。 20代後半既婚　現在妊娠後期　妊娠8ヵ月の時に5年努めた正社員事務職を退職致しました。 在職中より、疑問に思っていたのですが 取引先の事務さんや 最近では、元職場の事務さんも、産休とゆうかたちをとり、約1年後に復帰してるのですが1～3ヵ月内位に結局仕事と育児の両立ができず、退職してるのですが… その場合、育休中に支給されていた　育児休業給付金は返還にはならないのでしょうか！？ なんだか給付金詐欺なような気がしてならないのですが… 職場にも迷惑をかけた上、不正受給に近いものがあると　まともに退職した者が損をしてるような感覚に陥ってしまいます。 もし、わかるかたおりましたら教えていただけたら幸いです。