取引先の男性と飲みに行く事

おせわになります。31歳の派遣社員です。先日、取引先の男性（40歳）と飲みに行きました。ひょんな事から連絡先を交換し、今まで2回会社の帰りに飲みに行きました。前回は明け方まで飲み明かしましたが、きちんと帰宅しました。 私は彼が結構気になっており、また誘いたいな・・・、週末にも遊んでみたいな・・・と思っていますが、どのように誘って良いのか不安です。「次はアカネさんのお勧め場所へ行きましょう」と言われましたが、誘うきっかけが見付からず。 取引先という事もあり、恋愛感情むき出しになってしまうのも怖いのです。どのようにお誘いを続ければよいですか。みなさま、アドバイス頂けますでしょうか。