楽しくお付き合い続けるには？

最近、お付き合いを始めました。
お相手は同じ職場の先輩です。
プライベートな場面では趣味も嗜好も合っていてプレイべートな話は楽しいし、
何より私は彼が隣にいるだけで心から安心ができて、落ち着きます。
ですが、このままお付き合いを続けていくにはどうしたらいいのかわかりません。

・彼に「職場の上司に最近頑張っていると褒められた」と言うと、「あの上司は褒めて伸ばすタイプ。だから、それは本音じゃない。本気するなんて君は浅はかだ」と言われました。
・彼に私の好きなところは「顔」と言われました。ですが、彼はいつも「写真で撮るとおばちゃんみたいに見える」とか「ほうれい線が濃くなってきた」とか「あのアイドルの方がかわいい」とか言われます。

こんなことばかり続いたので先日、彼の前で「あなたに私は見合ってないと思うので、もう別れたい」と泣いてしまいました。
そのときは「俺は君が好きだからそんなこと言わないで」と言ってくれたのでお付き合いを継続することにしたのですが、今日「前にあんなこと（自分と見合ってない）と言いながら、化粧もボロボロで、その上前より太っていて、何を言っているんだと思ったよ」と言われてしました。
そのときはさすがに「太ったといわれると傷つくのでやめて」と伝えたのですが、「本当のことだから」と聞く耳を持ってくれませんでした。

彼と話していると楽しいし安心するのですが、その分だけ傷ついてしまいます。
私は何をすれば彼と楽しくお付き合いできるでしょうか。