訪問ヘルパーです、記憶違いが多く不安

４２歳です。最近訪問ヘルパーの仕事を始めました。
もともと別の介護の仕事をしており、次へのつなぎのため軽い気持ちで（シフトにあまり入らないペースを希望して）訪問事業所へ登録に行きました。
その旨は伝えたのですが、最初に希望月収を聞かれ、所長がそれを考慮してくれたのかどんどん仕事を入れます。
この事業所は雰囲気や人間関係が今まで働いた職場の中では一番良いし仕事もやりやすいです。
ただとにかく所長と約束したことを忘れてしまったり記憶違いをしてしまいます。
ちなみに今まで介護の仕事をしていましたが記憶違いは少ない方でした。

記憶違いの例ですが「今日の同行はここで待ち合わせね」と地図を書いてもらい現地へ行って待っていると、所長から「そこじゃないよ」と指摘される。（言い訳ではないけど地図からすれば私の位置とも取れます）
同行の現地集合も聞いたのに忘れてしまって事務所に待ち合わせるのか確認してしまったり。
色々分析すると仕事で記憶違いはなく、所長とのやり取りにだけ記憶違いや抜けが出ています。
正直所長は私に呆れていると思いますし、嫌われていると感じています。
所長だけにそうなのかと対策を考えていましたら、今日ボランティアで子どもを預かる予定になっており、その日時をすっかり勘違い（むこうにメールを入れるとどうも来週だったよう）していました。

ヒアリング能力や理解力が落ちているんでしょうか。

以前環境が変わって私のような状況になった方、どういうことを工夫しましたか？
いちおうメモを取るということ、復唱はしています。
よろしくお願いいたします。