飲み屋で人と仲良くなる旦那について

カウンターのお寿司屋さんや小料理屋さんに行くと、最初は普通に私と話しているのですが
トイレなどで私が席を立ち、帰ってくると高確率で旦那が隣のお客さんや大将に話しかけ、仲良くなっています。しかも、そうなってしまうとずーっとその人たちと話しています。
私は人見知りなので、そこからはただただ愛想笑いです。旦那がいる時はまだいいのですが、旦那が席を立つと間が持たないのが本当にストレスです。
私としては、旦那と一緒に料理や会話を楽しみたいです。しかし旦那はそこでの出会いが好きらしく‥
落とし所は何かないでしょうか。
できればこれからも旦那といろいろな美味しい店に行きたいとは思っています。

同じような境遇の方にご意見いただけると嬉しいです。