お断りする見合い相手に借りた物を返すことについて

先日、お見合いをした方とお見合い後初めて会いました。 優しい方で、これからもお会いしたいと思い、また会いましょうと話し、別れました。 別れ際に、お互いの趣味の合いそうな本を貸して下さいました。 その時はまたお会いするつもりだったのでお借りしました。 帰宅してから、その日の会話を思い出し、もしや彼には持病があるのではと思い始めました。 ネットで調べると、病気というよりはアレルギー体質のようでした。 確かに大変な病気ではないかもしれませんが、結婚となると将来が不安です。 子供に遺伝するかもしれません。 ですので今回はお断りさせていただくことにしました。 紹介者の方にお断りの電話をしたときに（あちらの都合で伺えませんでした） 「本を借りているので返していただくか、もしくは宅配便でお返しするか、どうすればよいか」と聞きましたら 「大人の女性のすることではない、高飛車だ」と酷く叱責されてしまいました。 わざわざ取りに来てもらう方が、相手の方にも手間を取らせて申し訳ないと思ったのですが、私の考えは間違っているでしょうか。 紹介者の方は大変立腹され、お断りの連絡と、本の返却について自分でするようにと言われました。 お相手にどのように言えばいいのかも悩んでいます。 ご意見・アドバイスをよろしくお願いいたします。