疑わしきは・・・

付き合って2年くらいになる彼のことで相談です。 彼は30代半ば、私は30代前半です。 基本的に週1回、週末ごとに会うというのが暗黙の了解となっているのですが、 たまに「今週は本が読みたいから」とか「仕事の資料作りをしなきゃいけないから」と断られることがあります。 確かに30代半ばということで、仕事の忙しいようですし、仕事のための本を読まなきゃいけないこともあるとは思うのですが、 「じゃぁ、うちでやれば（読めば）？」と提案しても、「いいよ。落ち着いて片付けたいし・・・」といった感じです。 本当に仕事をしているのかもしれませんが、過去に浮気したことがあるだけに、「もしかしたら、また・・・・」という疑惑がよぎってしまいます。 彼はやましいことはないっ。と言い切ってますが、100％信じることが出来ません。 『疑わしきは罰せず』ということで、彼の言葉を信じた方がいいのでしょうか？ それとも、もっと追求した方がいいのかな・・・。 みなさんはどう思われますか？