紹介された男性と友達になりたい

23歳女性です。彼氏はできたことがないです。
先月、友達（女）に一つ上の男性を紹介してもらいました。

（１）初対面
友達とその彼と3人で食事をしました。
正直いって、あまり（主に外見が）タイプではなかったため、乗り気ではありませんでした。
その後LINEのやり取りを続け、次2人で会う約束もしました。
理由として、
・一回会ったぐらいではわからない
・趣味は合いそうだった
・１対１でわかることもある

（２）２人で食事
話も弾み、会話が途切れることがなく素直に楽しかったです。
会話に困らない、気が合う、という点では問題なさそうでした。

なのですが、、、
私が彼に異性として好意を抱くことは一度もなかったです。
面食いではなく、今まで好き、もしくは気になる男性はイケメンだったわけではないです。
でも、何かしら異性として好きになる（恋愛対象としてみれる）パーツを持っていたと思います。

帰り際に、次はいつ会おうか？と誘われました。あちらは好意を持っているようです。
具体的な日にち決めにもなりましたが、スケジュール確認したら連絡する、と保留にしました。
私は、正直友達としてなら出かけるのもかまわない、楽しそうだと思うのですが、恋愛対象としては考えられなさそうです。

あと、これは単に男性経験が少ないせいだと思うのですが、
２人きりでいることに若干怖いと感じてしまいます。
食事のときは大丈夫なのですが、並んで歩いているときに距離を縮めて歩かれるからなのか
なぜか恐怖感があります（そこまで深刻ではないです。）。

友達や、好きな男性の場合袖が触れ合っても、ほほえましい気持ちになるのですが…。

このような場合、どのようにこちらの意志を伝えていいのかわかりません。
「友達として付き合いたい」とストレートに伝えてもいいのでしょうか？

よろしくお願いします。