税金、労働問題について教えてください

私は勤務７年の大工です。常に親方の決める仕事をし、他で仕事をした事はありません。
材料費、経費、車(帰宅も会社の車)、道具(手道具以外)は全て親方持ちです。給与は日当で半日ならその半分、残業は日当÷８を１時間として貰っています。保険は国保で、雇用契約などはしてません
請求書は書いた事ありませんが領収書は給与分書きました
手元に証明出来る物は給与明細しかありません。源泉徴収はされてませんし年末調整もしてません
実は私は確定申告してません。
今回、全てをやり直そうと労働相談所に相談をした所、雇用関係にあるので、確定申告する必要はないと言われました。それでも気になり税理士に聞いた所、一人は必要ない。もう一人は白色で申告しなさいと言われました。
意味が解らなくなり税務署の電話相談に問い合わせた所、雇用者だろうと事業者だろうと払う税金は変わらないので、会社が外注と言うのなら確定申告して下さいと返事をもらいました。
経費が無いのでかなり変わると思うのですが、この場合やはり一人親方として申告すべきですか？
私が悪いのですが、親方に源泉徴収義務があるのか私が無知すぎるのか、解る方教えてください。