שולחן ערוך יורה דעה קמו ה

עובד כוכבים מבטל אלילים אע"פ שאינה שלו, ואפילו אינו עובד לאותם אלילים, ואפי' בעל כרחו; ובלבד שידע בטיב אלילים. אבל קטן שאינו יודע בטיב אלילים, וכן שוטה וכן מי שאינו עובד אלילים כגון גר תושב -- אינם יכולים לבטלה.

(ישמעאלים שאינן עובדי עבודת כוכבים אינם יכולים לבטל) (בית יוסף בשם הרמב"ם פ"ח):