彼との交際に迷いが生じています。我が儘ですか？

23歳独女です。 同級生だった彼と共通の友人の結婚式の二次会で再会、半年間交際しています。 最近ですが、彼とこのまま交際を続けていいのかと思うようになりました。 きっかけは、誕生日でも何でもない普通の日に、高級なバッグを贈られたからです。 彼をバカにする訳ではないのでのですが、同い年の男性がおいそれと買える品ではありません。 不思議そうにしている私に気づいたのでしょう、彼は 「父親にもらった時計を売った」 と教えてくれました。 その時計は、彼のお祖父さんが彼の御両親の結婚記念日に贈ったペアの懐中時計です。 彼のお母さんは高校在学中に亡くなってしまいましたが、高校を卒業した際にお父さんが彼に贈ったものと記憶しています。 謂わば亡くなったお母さんの形見の時計です。 「お前に似合いそうなバッグを見つけたけど金がなくて。それで時計を売ったんだ」 と彼は言いますが、あまり嬉しくありません。 生活に困窮してやむを得なく時計を売ったというなら、まだ分かります。 だけど、私へ贈るバッグの為に時計を売ったとなると話は変わります。 私の母と彼のお母さんは一緒に学校の役員をしていた事があり、その関係で親しくしていたので聞いた事があるのですが、彼のお母さんは時計をとても大切にしていて、 「息子と息子の選んだ女性が時計を受け継いでくれたら嬉しい」 とそう言っていたそうです。 私の母が聞いた話を、彼が聞いていないとは考えられません。 お父さんも同じ思いで彼に時計を贈ったと思うのです。 それをあっさりと手放して、私に贈るバッグを買った彼に、疑問を覚えました。 そして彼の御両親に申し訳ない気持ちでいっぱいです。 そんな彼と別れたいと思うのは私の我が儘でしょうか？