年下の義兄への接し方

はじめまして。 今年入籍したばかりの３０代男性です。 私の妻は５歳ほど年下でして、私より２つ下の義兄が妻の実家にいます。 義兄と初めて顔を合わせた頃からずっと私は敬語で会話をしていたのですが、 義兄は私に対してずっとタメ口で、私は自分が年上ということもあり同じようにタメ口で話そうとしたら義兄・妻・妻の両親が激怒しました。 妻側の言い分は「義兄の方が立場が上だから敬語を使え」との一点張りで、お互いが敬語を使うことを望んでも立場が一緒になるからと反対されます。 私は義兄より年上という点も踏まえ、立場は対等だと感じているのですが、 私はこの先も敬語を使う必要はあるのでしょうか。上から見られているみたいで、どうもいい気分がしません。