他人を「可愛い」と褒める夫。

同じマンションの同じ階に住んでる女性についての相談です。

夫がその人のことを「可愛い」と言うのが気になります。最初は私も『確かに可愛いね』と夫に合わせ、特に気にしていませんでした。が、最近になって夫がよくその人のことを話題に出してきます。正直不快です。。
我が家は子供合わせて4人家族で、土曜の午前中に家族で出かけることが多く、その時に必ずと言って良いほどその人とその夫と同じタイミングでエレベーターが一緒になります。少し出る時間をずらしても、駐車場で会う時もあるのでほぼ毎回一緒になると言っていいくらい。

その人は多分二児の母で、お子さんは中学生くらいと多分小学校高学年で、その割に夫婦共に若いです。自分の格好とスタイルと比べてしまいます。
エレベーターを降りて、車に乗った後は夫は毎回「今日もあの夫婦と一緒になったね(笑)」と話題に出してきて、そしたら子供たちも"女の人可愛いね"とか"何歳くらいなのかなぁ？"と言うのですが、私は嫉妬で無口になってしまいます。
夫に素直にそういうことを言うのやめて欲しいとか言うと、なんかいい歳して恥ずかしい気がして言えません。どうしたら気にならなくなるでしょうか。