男友達との距離

定期的に悩むのですが、恋愛対象としては絶対に見ることの出来ない男友達（でも友達としてはいいヤツ）から好意を持たれた場合、皆さんはどれぐらいの距離で付き合っていますか？
もうキッパリと距離を置くべきでしょうか。
仮にその男友達をAとします。
Aから一緒に旅行やデートスポット的な場所へ行こうとか（男女２：２で）誘われるのですが、正直、私は大勢で飲み会ぐらいで年に何回か会えれば十分なのでそういう気がないのですが、波風を立てずに上手く断るには何と言えばいいですか？
あまりにも毎回断っているため、さすがに交友関係にもヒビが入りそうなので、そのへんで悩んでいます。
なんとなくグループ内で、私とAをくっつけようとしているムードもあり、そういうのを感じるとだんだん
そのグループに属していることが億劫になってきてしまいます。（私にはまったくその気がないし、女性陣もその事はわかっていると思うのですが…）
ちなみに、そのグループ内で私と仲のよい女友達がAと尋常でなく仲が良いので、彼女に「Aと旅行は無理」と言うことが
できません。ここらへんも、私は本当に心を許していないのかな、と悩みます。
それならばそのグループを抜ければいいと言われそうですが、彼らには本当にさんざん親切にしてもらっているので、それは
あまりにも酷い気がします。
どうするのが一番良いでしょうか？
せっかく好意で誘ってくれているのに、酷いと自分でも思っているので辛口な意見も歓迎です。
よろしくお願いします。