片思い中、いい感じと思っていた相手とダメになりそうです

気になる男性がいます。間柄は元同僚です。
知り合って４年、個人的に連絡を取り出して２ヶ月です。連絡をとるようになったきっかけは職場の友人達との食事の席でお互い読書好きであることが判明し話が合いました。それから他愛もない内容で毎日連絡を取り合いました。どちらかが寝落ちし翌朝寝たほうが返事をするというスタイルです。

そんな中２人で会ったのは２回でどちらも相手が誘ってくれました。私も嬉しくて二つ返事で食事に行きました。しかし、２回目の食事のお礼のメールを送って、こちらこそという旨の返信があり私がそれを返信して…以後返事がなく…？で終わる文面でなく返事は必ずしも必要ないのですが、今まで続いたやりとりが急にとだえた事に不安を覚えましたが、失礼をした記憶もなかったので最後の連絡から3日後に私から借りていた本を読み終えたのでその感想を送りました。
その日のうちに返信がありましたが、以前よりペースが落ちていてそれがどんどん顕著になりました。

しかし、文面に？がある事もあり向こうから会話を広げてくれていた事もあり(その回数は以前と比べると減りましたが)私もそれに甘えて連絡を返していました。しかし、先日の夜、私からの連絡を最後に既読にはなっていますが返事はありません。なんとなく迷惑なのかな？と考えています。私からはもう連絡しないほうがいいですか？少なくとも数日のうちに再度連絡をするのは空気を読めていない事は自覚しています。お互い貸し借りし合っている本があります。あげても惜しくないのですができればまた会いたいと思っており、それを口実にできないかなと考えています。

しつこいと思いますが諦めきれず、今の私がとるべきベストな方法を考えています。アドバイス頂けたら助かります。私的にはこのまましばらく連絡を待ち来なければ一～二カ月後に貸りたままですが、返却どうしよう？という旨の連絡をしてみようかなと思っています。