これっておかしいですか？～同じ職場の恋愛関係の場合

男性、女性に関係なく、いろんな感想を聞かせて頂ければと思います。よろしくお願いします。 社内恋愛で、彼は上司にあたります。付き合いは５年ほど。私は３０代後半です。 オフィスというよりは、自由な雰囲気の職場にで、二人きりになる時間は少ないですが、ほぼ毎日顔は合わせます。 例えば、たまーに、二人きりで昼食を食べているとき。仕事の話もすれば、雑談もするのですが、会話の中で、（特定ではなく一般的に）女性の服装や容姿の話になった時、「私の服装は？」とか「私はどう思う？」という風に聞くと、 「自分が、自分がと自己主張が強すぎる！会話にならない。」とすぐに怒り出すのです。 甘えているのではなく、さらっと聞いているつもりなのですが、毎回、怒られます。彼は私の上司になりますので、私の仕事に対する考え方（だからお前はだめなんだ）に絡めて怒り出すので、疲れてしまいます。 仕事とプライベートがわけにくい仕事ですので、オンオフの区別がとても難しいのですが、気楽に話せるときがなく、「私が変なのか、それとも、（彼は）ウンウン話を聞いてくれる相手が欲しいだけなのか」どちらなのだろうと悩んでいます。 正直、昼食など誘われると、気が重くなる自分がいます。 皆様のご意見を聞かせてください。