"付き合う"の定義

今、好きな人が居ます。彼とは職場が一緒ですがプライベートで頻繁にメールしたり、出かけたりしています。

彼とは色々なことを話しますが、この間恋愛について話したときに
「例え　良いな、と思える子が現れたとしても『付き合おう』という言葉で始めたくない。お互い会いたいと思ったら会えば良いし、一緒に居たいと思ったら居れば良いと思う。『付き合う』となるとすごく堅苦しく色々考えてしまう自分がいるから」と彼が言っていました。

彼から頻繁に誘ってくれたり、メールをくれたりするので私は告白しようと意気込んでいたのですが上記のようなことを言われ、困っています。
別に彼は私の事を拒絶した訳ではないと思います。現にこれからもデートの約束がありますし・・・。
只、こういった考えを持った人とこの先どうやって恋愛を進めていったらいいのかな、とちょっと疑問です。「付き合おう」の言葉なしで自然に始まった恋愛を経験された方いますか？
ちなみに彼曰く、上記の関係に必ずしも体の関係は必要ないと言っていたので（お互いの同意あってするものだ、と言っていました）体目的の付き合いを望んでいるわけではないと思います。