義理の家族との関係　私がおかしいのか判断がつきません

主題のとおりですが、義父母との関係です。

まず簡単に自己紹介させてもらいます。
私は会社員の27歳です。
妻と子供がいます。
出来ちゃった結婚です。
義父母は自営業をしています。
結婚の時に色々揉めまして、自分の両親とは絶縁、養子として妻の家系に入っています。

そんな義父母との仲ですが、
最初に揉め事が色々あっただけに「人としてどうかしている」 「何も出来てない」という様な趣旨の事をよく言われていました。
結婚当初上手くいっているとは言えない状態でした。
私は自分のした事だから仕方がないと思い、見返す様に頑張ろうと、仕事は勿論、家事に育児に頑張ってきました。
最初は家族の旅行等にも誘ってもらえずひとり。最近は色々誘ってもらえる事も増え少しは認めてくれているのかなと感じてました。

そんな時でした。
義理の両親は引っ越しをしたので元々の実家に私達家族が住まわせてもらう事になりました。
まだ義理の両親の荷物も残っていまして、勿論勝手に触るという事もありませんでした。
荷物の整理をしている所の義父から「自分が置いてくものは全部使って良いし、いらないなら処分して欲しい」と頼まれて出てきた荷物で使えそうな物は使いました。
その中に新品で箱に入ってる物もありましたが本人が良いと言ったから良いだろうと判断して使っていました。
数日して、私が義父が置いていった物を使っているのをみた義母は「新しい物なら普通聞くだろう」と怒られました。
そして、「人間的にダメ」 「モラルがなってない」という様な事を言われました。
自分が悪かったと思い謝りました。

共働きでもあるので常日頃、義父母にはお世話になっています。色々な事を施してもくれますので、勿論感謝もしています。
沢山お世話になっていますが、何かにつけて毎回そういう見方をされるのは私としては傷つきます。

私の判断は間違っていたでしょうか？