昔お世話になった方の言動が気になります

40代会社員，夫も同じグループ会社に勤務しています。子供は小学生2人です。入社して最初の頃，お世話になったある男性上司がいて（仮にA氏とします），その方はその後転職して，年は私より約20歳年上ですので定年し，今は嘱託の待遇です。 説教くさいところがある方でしたが，厳しいことも言ってくださるので，在職中は尊敬していました。今も2年に一度くらい，たまにお会いして話を聞いたりしています。 ところがここ数年，会うたびに不愉快な思いをすることが多くなりました。まず1つ目は，夫と私のいる会社のことを，どうせもたない，そうしたら2人同時に職を失うことになって，小さな子供を抱えてどうやって生きていくのかとしつこく詰め寄ること。2つ目は私の夫のモノローグを語り，話す中で私の名前を呼び捨てにすることです。例えば，「職を失ったら，君のご主人は『○○(私の名)と子供達を，オレはなんとしてでも養わないといけない』と悲痛な決意をするだろうね」などと言うのです。私の夫はふだんは私の名前を呼び捨てにしており，A氏もそれは知っています。でも，A氏から会話の中で夫を語って自分の名を呼び捨てにされると，かなり気持ちが悪いのです。 1つ目については，A氏から見れば夫も私も危機感なく暮らしているように見えるのでしょう。でもそんなことを言ったら誰でもいつどうなるかわからないのは同じ。例えばこれからのマネープランとか，保険の見直しとか，私達夫婦なりに考えてはいるのですが，結局何を言っても「そんなんで食っていけるのかね」と問い詰められて返事ができなくなるの繰り返しです。 お会いすると，最初は近況報告などで楽しいのですが，最後はいつもこんな感じで，後味の悪さを引きずるようになってしまいました。不愉快であることを伝えた方がよいか，そもそも少しずつ距離を置いていくか迷っています。