異性もいる飲み会について

私は30代前半女性です。 趣味仲間から飲み会に誘われました。その中に異性もいます。 もちろん、何年も付き合いある仲間達です。 メンバーによってはお断りしているのですが、ここ半年ぐらい全て断っています。 付き合いも大事なので、たまには参加しようかなとは思っていても迷っています。 その理由は好きな人がいる為です。 その相手（仮名K)も私に好意持っていてくれているのですが（告白され済）理由があり付き合ってはいません。 Kくんがいれば問題はないのですが、Kくんは趣味に関わっていないので飲み会のメンバーには入っていません。 Kくんと私が関わっている間、私に他に好きな人が出来るまでは互いに異性と二人では絶対に会う事をしない、隠し事はしないと決めています。 今回の飲み会で二人ではないとは言え、異性も何人かいます。 もちろんメンバーによっては今回も断りを入れるつもりでいます。 行く場合はKくんに伝えるのですが問題は異性もいることです。 Kくんは相手によってヤキモチ妬く場合と、すんなり「行ってらっしゃい」と言ってくれる時の差があります。 私に好意がなくとも相手が私に好意あると引き止めるからです。 一度、それで揉めたことはありました。 もちろん、自分の悪い所は受け止めそれ以降はしてません。 ですが他にも問題が…。 それはKくんが意地悪を言う所です（俺も女の子と遊ぼう等言ってくる） 元々、私はメンタルが弱いので直ぐ落ち込んでしまいます。 もちろん、冗談ですが元遊び人のKくんにどうしても気になってしまって、自分の用事を止めてしまったり後回しにしてしまいます。 そんな自分の性格に嫌気がさしますが、だからと言って友達失くす行動もしたくない自分と好きな人の気持ちを考える自分に葛藤しています。 どうしたら、Kくんを穏便に納得させるように言えるのでしょうか？ 皆様の知恵をお借りしたいです。