元彼の友人は友人の元彼

こんにちは。 最近親密になってきた男性について、今後どのように接すればいいのか一般的な意見を頂戴したく相談しました。 タイトル通り、私が想いを寄せる男性は、私の友達・Mの元彼です。 そして、私の元彼の友人でもあります。 元彼と私が別れたのは１年程前。 元彼に恋心はありましたが、散々振り回されたりする事、責任感がないことなどにけじめをつけるつもりで自ら別れを告げました。 その男性とMが別れたのは４年程前。 ３ヶ月位お付き合いしていたそうです。（その頃私は、Mやその男性ともあまり親しくありませんでした） 最近、ひょんなことから私はその男性と急接近し始めました。 どちらともなく誘い合い、買い物やご飯を食べるような間柄です。ですがもし、お付き合いするに至ったら、すんなりといかなそうなことに気づきました。 Mはどう思うか、元彼へのあてつけと思われないか、男性は友人と『兄弟』になることに抵抗はないのか・・・など様々な角度から、この恋に関する意見が聞きたいです。 現在、恋心が芽生え始めた段階なので、もし問題が起こったり周りから指差されるようであれば傷の浅いうちにブレーキをかけよう・・・という思いも少しあります。 ちなみに私と男性が会っていることはまだMには報告していません。 余談ですが、元彼は私から別れを告げたにもかかわらず、「んなこといってまだ俺のこと好きなんだろ」みたいな態度です。（共通の友人が多いので、何かしら会う機会があります）実際、数ヶ月前まで未練がありました。 共通の別の友人は私が 「思いを寄せている人がいる」 というと 「やっとアイツ（元彼）からの呪縛から逃れられたね」 と喜んでくれますが、その男性の名を告げると顔をしかめます。 やはり、他人から見たら、この関係はあまりよろしくないのでしょうか？