El gobernador de California, Gavin Newsom, ha firmado una nueva ley que marca un hito en la regulación de la inteligencia artificial (IA). Se trata del Proyecto de Ley del Senado 243 (SB 243), que establece normas estrictas para los operadores de chatbots como OpenAI, Anthropic PBC y Meta Platforms Inc., con el objetivo de proteger a los niños y adolescentes de posibles daños psicológicos o emocionales derivados de sus interacciones con sistemas de IA conversacional.
La ley, que entrará en vigor el 1 de enero de 2026, obliga a las empresas a implementar mecanismos de seguridad que impidan que los chatbots fomenten o discutan temas sensibles como el suicidio o la autolesión. En esos casos, los sistemas deberán redirigir a los usuarios hacia líneas de ayuda o servicios de prevención de crisis.
Además, la normativa exige que los chatbots recuerden periódicamente a los usuarios menores de edad que no están hablando con un ser humano y que tomen descansos cada tres horas de uso continuo. También se deberán aplicar “medidas razonables” para evitar la generación de contenido sexual explícito o inadecuado.
“La tecnología emergente, como los chatbots y las redes sociales, puede inspirar, educar y conectar, pero sin límites reales también puede explotar, engañar y poner en peligro a nuestros hijos”, declaró Newsom al anunciar la ley.
Un equilibrio entre innovación y protección
El gobernador busca así mantener el liderazgo de California en el desarrollo de la IA, pero bajo un marco de responsabilidad y ética tecnológica. La ley, impulsada por los senadores Steve Padilla y Josh Becker, fue presentada en enero y enfrentó inicialmente una fuerte oposición. Sin embargo, obtuvo un amplio respaldo tras conocerse varios casos trágicos vinculados al uso de chatbots.
Uno de ellos fue el suicidio del adolescente Adam Raine, quien mantuvo extensas conversaciones sobre el tema con ChatGPT antes de quitarse la vida. Otros incidentes recientes reforzaron la urgencia de la medida: en agosto, documentos internos filtrados de Meta revelaron que sus chatbots habían mantenido interacciones “románticas” o “coquetas” con menores, difundido información falsa y generado respuestas discriminatorias. Además, una familia de Colorado demandó a Character Technologies Inc. tras el suicidio de su hija de 13 años, quien habría tenido conversaciones sexualizadas con uno de sus bots de rol.
“Podemos seguir liderando en tecnología e inteligencia artificial, pero debemos hacerlo con responsabilidad, protegiendo a nuestros niños en cada paso del camino”, subrayó Newsom.
Críticas desde la industria y grupos de protección infantil
Aunque SB 243 ha recibido apoyo de legisladores y defensores de la seguridad digital, no todos están satisfechos. La asociación TechNet, que representa a ejecutivos de empresas tecnológicas, se opuso rotundamente, argumentando que la ley podría frenar la innovación. Paradójicamente, grupos de protección infantil como Common Sense Media y Tech Oversight California también mostraron su descontento, alegando que la norma contiene “exenciones favorables a la industria” que debilitan su alcance.
Nuevas obligaciones para las empresas
El texto legal impone una serie de requisitos adicionales a los operadores de chatbots:
- Verificación de edad obligatoria para detectar usuarios menores.
- Advertencias claras sobre los riesgos de los chatbots de compañía.
- Protocolos de prevención del suicidio y autolesión, que deberán ser revisados por el Departamento de Salud de California.
- Reportes estadísticos periódicos sobre la frecuencia con la que los chatbots activan alertas de prevención de crisis.
- Multas de hasta 250,000 dólares por infracción para quienes se beneficien de deepfakes ilegales.
Una tendencia en expansión
Algunas empresas ya están tomando medidas preventivas. OpenAI ha implementado controles parentales y filtros de contenido en ChatGPT, además de un sistema de detección de autolesión, mientras que Character AI añadió un aviso de responsabilidad que recuerda a los usuarios que las conversaciones son generadas por una IA y no reflejan la realidad.
Newsom ya había mostrado su interés por la regulación de la IA en septiembre, cuando firmó la ley SB 53, que exige a las empresas de inteligencia artificial mayor transparencia sobre sus protocolos de seguridad y protección a denunciantes internos.
Con SB 243, California se convierte en el primer estado de EE. UU. en exigir formalmente protocolos de seguridad específicos para chatbots de IA, marcando un precedente que probablemente inspire nuevas legislaciones en el país. Estados como Illinois, Nevada y Utah ya han adoptado normas más limitadas que restringen o prohíben el uso de chatbots como sustitutos de servicios de salud mental.
La medida refuerza el mensaje de que el avance tecnológico debe ir de la mano con la protección del bienestar humano, especialmente cuando se trata de los más jóvenes.