The Friend Off Limits
New York Governor Kathy Hochul signed a law on October 28 that bars AI chatbots from acting as friends, partners or confidants to anyone under 18. Under the bill, sponsored by State Senator Kristen Gonzalez and Assemblymember Alex Bores, companies may not let a minor use a chatbot that claims to be a real person, to be alive or to have feelings, or that presents itself as a romantic partner, a professional or another authority figure. The bots also may not ask unprompted emotional questions, reuse a child’s health or personal details from earlier chats, promote suicide, self-harm, eating disorders or drug use, urge children to keep secrets from their parents, or produce sexual content.
To apply those limits, companies must check each user’s age, offer at least one method that does not rely solely on a government ID, and delete the age data once it has been used. Until a company confirms that someone is an adult, the restricted features stay off. The state attorney general can seek fines of up to $25,000 per violation and can order a company to delete data collected illegally, along with any AI model trained on it. Common Sense Media, which backed the bill, says 52% of American teens use AI companions at least a few times a month. Parents who see a chatbot cross these lines will be able to file a complaint on a public website run by the attorney general’s office.
El amigo prohibido
La gobernadora de Nueva York, Kathy Hochul, firmó el 28 de octubre una ley que prohíbe a los chatbots de inteligencia artificial comportarse como amigos, parejas o confidentes de menores de 18 años. Según la norma, impulsada por la senadora estatal Kristen Gonzalez y el asambleísta Alex Bores, las empresas no podrán ofrecer a un menor un chatbot que diga ser una persona real, estar vivo o tener sentimientos, ni que se presente como pareja sentimental, profesional u otra figura de autoridad. Tampoco podrá hacer preguntas emocionales sin que nadie las pida, reutilizar datos de salud o personales que el menor contó en conversaciones anteriores, promover el suicidio, las autolesiones, los trastornos alimentarios o el consumo de drogas, animar a los chicos a guardar secretos ante sus padres ni generar contenido sexual.
Para aplicar esos límites, las empresas deberán verificar la edad de cada usuario, ofrecer al menos un método que no dependa únicamente de un documento oficial y borrar los datos de edad una vez usados. Mientras la empresa no confirme que alguien es adulto, esas funciones seguirán desactivadas. La fiscal general del estado podrá pedir multas de hasta 25.000 dólares por infracción y ordenar que se borren los datos reunidos de forma ilegal, junto con cualquier modelo de IA entrenado con ellos. Common Sense Media, que apoyó la ley, calcula que el 52% de los adolescentes estadounidenses usa compañeros de IA al menos varias veces al mes. Las familias que vean a un chatbot cruzar esas líneas podrán presentar una queja en un sitio web público de la oficina de la fiscal general.
