諦めるべきかどうか

出会って1年半の男性について相談させて下さい。
彼は32歳、研究者です。就職して2年目のポスドクです。
彼は仕事が忙しく、私は仕事、家庭の事情でフリーの日は月2日程で、都合が合わず中々会えません。
彼は国内、海外出張も多く、私も一人で海外旅行へ行ったりし、半年程会えずメールだけしかしていない時期もありました。私と彼の家は電車で3時間程離れています。
お互いの写真を送ったりして、お互い会いたいや、好きなどと言う言葉も出てきたので、私から告白しました。(中々会えないのでメールで)
そうしましたら、私の事はとても好きです。今仕事がとても忙しいのを残念に思います。私はまたあなたと会い、もっと沢山デートをして彼氏彼女になりたい。と言うようなメールが来ました。
もし好きな人に告白されたら、断ったりはしないのではないかと思います。仕事に集中したい場合は断る事もありますか？
彼が私を傷つけまいと言っていてくれる言葉にもいつか好きになってもらえないかと期待してしまう気持ちもあります。
いつも彼から送られてくる写真は髪もボサボサ、髭も伸びて、疲れ切った様な顔をしながら笑っている写真です。周りに科学者の方がおられないのですが、やはりとてもお忙しいお仕事なのでしょうか？
お互い仕事の合間をぬって数時間中間地点で会った時も、彼は体調不良で10分に1度程トイレに駆け込むフラフラの状態で会いに来てくれたり、私が仕事で落ち込んだ時に今から会いに行くよと言ってくれたり、私との時間も大事にしてくれているなと感じる事も多々あります。
仕事を大好きで頑張る彼が好きです。
しかし、忙しい彼の時間を潰してしまったりして迷惑をかけてしまうかもしれませんし、諦めるべきでしょうか？
話がまとまっておらず申し訳ありません。