従妹との付き合い

4歳離れた従妹がいます。

子供の頃重度の喘息持ちで、私の実家（ド田舎）だと症状が出なかった為、叔母（母の妹）が仕事を持っていたので夏冬の休み中ほぼ私の実家で預かっており、逆に私が大学進学後、叔母夫婦の家に下宿させてもらっていた、という関係です。それから、私は就職、従妹は進学で二人同時に上京した為、叔母夫婦からはくれぐれも頼むと言われ、色々と面倒を見てきたつもりです。

その従妹も大学を卒業、春から社会人となりました（親の猛反対を押し切ってこちらに勤め口を見つけました）。後見人としての私の役割は終わりましたが、共通の趣味が多く、サッカーの地元（出身地）チームの試合の応援に行ったり、日帰りで東京近郊の水族館巡りをしたり、という付き合いを続けていたのですが、その従妹からこの間告白されました。
従妹への愛情は十分あり、従妹を泣かせる奴は俺が許さないというのが基本スタンスですが（友人や同僚からは「カズコン」や「イトコン」などという有難くないあだ名を頂戴しています）、一方で従妹は客観的に女性的魅力があると思うものの、恋愛感情は全く持てないことから、戸惑っています。

気持ちは嬉しいが社会人になったばかりで、これから人付き合いの幅も広がるからもう少し考えなよ、と返答しましたが、今でも従妹とは会っています。嬉しそうな従妹を見るのは楽しいのですが、正直私はあまり盛り上がりません。これは、従妹とそんなに仲良しなんてどうかしてる、気持ち悪い、と言って振られた元彼女の言葉が引っ掛かっているということもあります。

従妹は私の返事を待っています。私が断れば従妹は大変悲しむと思います。そうすると私自身が「従妹を泣かせる奴」になってしまいます。従妹が悲しむ姿は見たくありません。

どうすればよいか、本当に悩んでいます。なにとぞご意見・アドバイスお願いいたします。