ママ友家族グループから抜け出たい

小学高学年女子と低学年男子の子供を持つ母です。 上の子の幼稚園関係で知り合った近所のママさんに 家族ぐるみであるスポーツを誘われました。私達も家族でやっていたスポーツなので近所だし時々ならとおもってご一緒しました。 ３回目ぐらいの時からそのお子さんのお友達家族も増え（顔見知り程度の方たち） 数家族でするようになったのですが、私以外は普段から仲良くされている ママさん達で、（女のお子さんばかり）私は子供の学年も違うし、仲良くしてる方は他にいるので、ランチや買い物は お断りして、子供が楽しんでいるのでスポーツだけのお付き合いをしてきました。が、最近飲み会などイベントが増えてきました。 その友達はとても良い方なので、今思うと気を使って誘ってくださった部分もあり断ったからと言って、感じが悪いわけでもありません。 でも、近くに住んでいるので、暇なのに忙しいとも言えず、最近は 負担になり始めました。 というのも自分だけ深い付き合いではないので、 本音で接する事が出来ないのが一番の原因だと思います。主人は気にせず参加していますし、他のご主人も集まった時は子供にも良くして下さいます。が、他のご主人同志も仲が良いのですが、主人は男なので特に気にはならないそうです。私次第というのが、断りきれない理由でもあります。正直に 体力、気力ともに疲れたというように、本音を言って断ってもいいものか。悩んでおります。他にも自分だけ違う立場なのに、参加してきた事が、空気が読めなかったのかなとか、いろいろ考えてもしまいます。このような経験された方、何か良いお知恵ないでしょうか。また客観的に見て、参加し続けたわたしが変わっていたのでしょうか。 結局疲れて子供にあたってしまう事があり、子供の為が、イライラしたりして自己嫌悪に陥っています。