結婚後の仕事での旧姓利用への夫の理解

こんにちは。40代女性です。
3歳年上の夫と結婚して10年目、共働きで小学生の娘がいます。

結婚当時、私は専門職として働きながら同時に研究活動をしており、
論文など研究業績の関係で姓を変えることへの抵抗感があったのですが、
夫には妹しかおらず、女性の姓にすることへの抵抗感も強かったため、
「私に負担がかかっていることはわかっておいて欲しい」ということは伝えましたが、
夫の姓で入籍をしました。

その後すぐ私は大学教員に転職をしました。
大学では研究業績の関係もあり、旧姓で仕事をしています。
全く珍しいことではなく周りにも同じ状況の方がたくさんいますし、
大学からも当然のようにどちらで働くかの確認をされました。

しかし、夫がどうもそれをあまり面白くないと思っている様子なのです。
「別に○○（夫の姓）で働けばいいのに」「子どもが大きくなってなんで？って思うんじゃない」
「昔の知り合いにあったら離婚したと思われるかも」
などと時々チクチクと言ってきます。
研究業績の関係があることは当然説明しているのに言ってくるため、
言われるたびにイラっとしつつ、年に数回なのでスルーしてきました。
でも、先日私の職階が変わったときにまた、
「〇〇准教授（職階は仮です）だったらもっとかっこよかったのにね」
と言われ、まだ言うか？と思ってしまいました。

元々私の姓にしていれば、私だってわざわざ職場とプライベートで姓を分けなくてすんだのに、
（知られたくない相手に仕事を知られないというメリットはありますが）
別に事情もないのに「そういうもんだから」で姓を変えず、
全く負担がなかった方にそんなことを言われる筋合いはない、と思ってしまいます。

スルーし続けるか、一度喧嘩覚悟で話し合うか迷っています。
ご意見をお願いいたします。