他人な義父との付き合い方

既婚 27歳 主婦です。
子どもはいません。
両親は市内に住んでいますが、離婚して別世帯です。どちらも私の住まいから車で3０分ほどのところに住んでいます。
母方の実家、叔父夫婦も市内、叔母夫婦は車で１時間半ほどのところに住んでいます。

義父と私はあまり長い付き合いではありません。
元々同居していた産みの父親家族と合わず、再婚していた母と義父家族のところへ18歳のときに越して3年だけ同居し、その後家を出ました。
母もそのあとすぐに離婚しています。

 現在実家?には義父と実の姉が住んでいます。

義父は母方の親族と仲が良く離婚後も実家で飲み会や旅行に行ったりしています。

今までは私も集まりに参加していましたが、
 昨年私が結婚してからも義父から度々飲み会の集まりや義父実家へ一緒に行くように誘われています。行かないと顔を出すように催促の連絡がきます。
 引っ越し等を理由に忙しいからと断っていましたが新居がみたいと何度も連絡がきています。

 正直私は義父が好きではありません。仲が悪いわけではありませんが、短期間でも家族として接していたことや今も姉が住んでいるから邪険にするのも悪いと思い付き合ってきましたが、もうしんどいです。

父とは呼んではいますが、20数年一緒に暮らしていた姉とは違い私はもう他人という気持ちです。

また義父実家の法事やお墓参り等も籍を入れる前は私と姉が付いていましたが結婚後まで夫婦で付き合う必要はないのでは・・と感じています。

義父にきっぱりと今までどおりの付き合い方はできないと伝えてもよいものでしょうか。
良い伝え方や言い回しがあれば教えていただきたいです。

 少し複雑な事情で恐縮です
 似たような境遇の方のお話や、
どのように接していけばいいかなど
 いろいろなお話を伺いたいです。