会う約束までの会話がかみ合わない

子どもを媒介に知り合った方とお友達になりました。子どもとも同年代の方です。適度な距離感などもお互いに得ている方です。頻繁に定期的には会いませんが、偶然会うと会っていない間を埋められるような話ができる人です。　先日、偶然仕事先でおみかけしたので声をかけました。その数日後、その場所に来られるときはお茶でもとメッセージをいただきました。生活や仕事などもいろいろあり、共通の話ができるのかなと思い、お会いしませんかと連絡をしました。 以下、やりとりです。（原文ままではないですが） 私：仕事終わりが6時なのでそれ以降ご都合はいかがですか？ 相手：子どもの送迎があって今日はムリです。仕事が始まるまでにお茶とかできそうですか？ 私：朝は忙しい時間帯でまとまった時間がないの。ランチもゆっくりできないから。明日の仕事終了後、だいたい6時以降はいかが？ 相手：明日は大丈夫よ。 私：じゃあ6時ごろに終了なの。場所はあなたの会社から数キロなので終わり次第連絡入れてそっちに向かうから。軽くごはん食べましょうよ。 相手：わざわざ来てもらうのも悪いから、うちの会社の近くに来られるときでいいわよ。私は自由がきくので30分程度外に出ることも可能だから。 がっかりだったのは、明日の夕方空いているとおっしゃったのでワクワク気分で、お互いに子どももいるのでそう長い時間もと思ったので軽い食事でもと言いました。「ではお待ちしていますね」という返信だとすっかり思っていたのですが「わざわざこちらにこなくても」といった私に配慮した文言ではあったのですがその先に進めない返事で本当にがっかりです。 で、私はがっかりしたのですが友達が遠慮されているならと思い「ではまたにしましょう」と返しました。そのあとすぐ「友達が少ないのでいつでも連絡してください」と返信が来ました。その文言を見て「はぁ？」です。