お断りする見合い相手に借りた物を返すことについて

先日、お見合いをした方とお見合い後初めて会いました。

優しい方で、これからもお会いしたいと思い、また会いましょうと話し、別れました。
別れ際に、お互いの趣味の合いそうな本を貸して下さいました。
その時はまたお会いするつもりだったのでお借りしました。

帰宅してから、その日の会話を思い出し、もしや彼には持病があるのではと思い始めました。
ネットで調べると、病気というよりはアレルギー体質のようでした。
確かに大変な病気ではないかもしれませんが、結婚となると将来が不安です。
子供に遺伝するかもしれません。
ですので今回はお断りさせていただくことにしました。

紹介者の方にお断りの電話をしたときに（あちらの都合で伺えませんでした）
「本を借りているので返していただくか、もしくは宅配便でお返しするか、どうすればよいか」と聞きましたら
「大人の女性のすることではない、高飛車だ」と酷く叱責されてしまいました。

わざわざ取りに来てもらう方が、相手の方にも手間を取らせて申し訳ないと思ったのですが、私の考えは間違っているでしょうか。

紹介者の方は大変立腹され、お断りの連絡と、本の返却について自分でするようにと言われました。
お相手にどのように言えばいいのかも悩んでいます。

ご意見・アドバイスをよろしくお願いいたします。