元カノの関係者を好きになりました

好きな人がいるのですが、その人は元カノの関係者です。 その話を聞いてほしくて書き込みました。 元カノは「言いつけてやる」が口ぐせで、何かあると自分のお母さんに報告するので、嫌になって別れ話を切り出しました。 別れ話の際に自分のお母さんだけではなく「私の地元の怖い友人」にも電話をかけていましたが、元カノが少し話してからすぐにプーップーッという音が聞こえたので相手にされなかったのだと思います。 この時、元カノが電話をかけた「地元の怖い友人」が今の僕の好きな人です。 その人は偶然にも職場の先輩の妹さんで、元カノと何とか別れられた後に先輩の部屋で会ったのですが、笑顔の素敵な真面目そうな女性で「怖い」という言葉とは縁遠い人でした。 元カノは彼らの地元ではちょっとした有名人で、子供の頃から何かあると 「お母さんと先生に言いつけてやる」 と言って周囲の子を自分の言いなりにさせようとしていたけど、まともに相手にしていたのはお母さんだけで、先生方は「いじめられた」という深刻な内容の話ではないので適当にしていたとの事でした。 先輩の妹さんは趣味で武道の道場に通っている有段者なので「怖い友人」にあげられてしまったのだろうと笑っていました。 それ以来、先輩の妹さんには元カノの愚痴を聞いてもらうなどしてますが、会う度に先輩の妹さんにのめり込んでいます。 だけど、「地元の知り合いの元カレ」である自分がアタックして迷惑をかけないのかが心配です。 僕のような立場の男からアタックして、妹さんに嫌がられたりしないでしょうか？