聞き取れない会話の聞きかえし方法

私、頭が悪いようで…他人の会話をかなり聞き取ることができません。向き合ってゆっくりと話していただければわかるのですが、日常会話は聞き取れた部分（話の前後）から推測して大雑把に理解するようにしています。

会社でどうしてもわからなかった時には「申し訳ありません、聞き取れない部分がありましたのでもう一度おっしゃっていただけますか？」と言うようにしていますが、友達相手にはそこまでかしこまって言うのはおかしく、しかし「は？」「え？」などと何度も聞き返すのも内容にケチをつけるようで失礼だと思って大抵わかったフリをしてしまいます。これでトンチンカンな相槌をうってさらに失礼！ということもあるのですが…。
英語のヒアリングなどもってのほかで文字を見ながらでもろくに追えません。場合によっては「難聴気味なので」と嘘を言うこともあります。

夏に結婚するのですが、義理の家族の会話もうまく聞き取れません。気さくな方たちなのであまり堅い言葉も使えず、難聴だとも言えず、「？？？」と思ってもただただ笑顔でいるばかり。堅苦しすぎず、さらっと聞きかえせる言葉がありましたら教えていただけますか？よろしくお願いします！