小さい事だけど嫌われたくない

高校3年男子です。
同じクラスに付き合って3ヶ月ぐらいの彼女がいます。
今日学校で男友達に、冗談で「○○さん(彼女)と喧嘩したことある？」とか「○○さん家に入れたことある？」とか聞かれました。僕は笑いながらないよと答えたんですが、このやり取りが彼女に聞かれてたかもしれないです。
あとからこういうのを聞こえる声で話すのは良くないような気がして、嫌だと思われてないか心配です。
次からその類のことを聞かれた時は答えるのを避けた方がいいでしょうか？
また、こんな小さいことをいちいち気にするのは馬鹿げてますよね？
彼女に嫌われるのが怖くてよく悩みます
どうしたらいいでしょうか？