周りから祝福されない結婚はやはりダメですか・・？

初めまして。３４歳派遣社員の幸恵といいます。 現在、結婚を前提にお付き合いしている男性がいますが、私の両親や弟、友人達を含む周りの皆に反対されて、少々ヘコんでいます。 彼は４２歳、バツイチです。前の奥さんとの間に子供（小学生）が２人いて、前妻さんが引き取って育てています。 養育費の代わりに、家（前の結婚時に購入した一軒家）のローン（月９万円）を毎月払っています。 ２人の子供とは月に１度、会っているそうです。 結婚相手として、彼自身に問題があるわけではありません。両親はバツイチ子持ちであるということで反対していますが、会社の人や友人が反対するのは、彼の元妻のことです。 元妻は彼と同じ会社で働いていました。彼女を知る人に聞くと「元妻は気が強くて強引な人だったから、優しくて人がいい彼が押し切られる形で交際、結婚した」そうです。 私は今、彼と同じ会社で働いているのですが、元妻を知る会社の人皆から「彼との結婚は止めた方がいい」と言われました。理由は「元妻は彼に未練があって離婚したくなかったのに、弁護士まで入って結局離婚になった。付き合ってる時代から彼に異常に執着しており、性格的にも問題がある人だから、彼と結婚したら子供を盾に付きまとわれて苦労するよ」と言われました。 元妻は実際、私と彼との結婚が具体化した頃から、子供を連れて夜彼のところに来たり（今まではそんなことなかった）、私の家に来て「子供達から父親を取らないで」と玄関先で号泣したりと、問題のある行動を繰り返してます。 離婚の時も会社まで来て騒いでいたらしいですが、今回も前の上司を訪ねて来て「再婚すると聞いたけど、私はまだやり直したい。子供がいる以上、縁は切れない」と言ったそうです。その上司からも「元妻は何をするか分からない人だ」と言われました。 彼のことは好きですが、結婚は止めた方がいいのでしょうか？