Generación AI: amigos imaginarios reales

'My Friend Cayla' es una muñeca conectada a internet que utiliza tecnología de reconocimiento de voz para chatear e interactuar con niños en tiempo real. Las conversaciones de Cayla se graban y transmiten en línea a una compañía de análisis de voz.

Esto generó preocupaciones de que los hackers pudieran espiar a los niños o comunicarse directamente con ellos mientras juegan con la muñeca. También hay inquietudes sobre cómo se usan los datos de voz de los niños. En 2017, los reguladores alemanes instaron a los padres a destruir la muñeca, clasificándola como un "aparato de espionaje ilegal".

Cayla es solo un ejemplo de una nueva ola de juguetes de inteligencia artificial (IA) que "se hacen amigos" de los niños. Los fabricantes a menudo afirman que son educativos, mejoran el juego y ayudan a los niños a desarrollar habilidades sociales. Pero los grupos de consumidores advierten que los juguetes inteligentes, al igual que otras "cosas" que conectamos a Internet, pueden poner en riesgo la seguridad y la privacidad.

En la siguiente sesión de preguntas y respuestas, Kay Firth-Butterfield , Jefe de Inteligencia Artificial y Aprendizaje Automático del Foro Económico Mundial, explica cómo navegar en un mundo en el que los juguetes de IA son cada vez más populares.

¿Qué pasa con los datos de los juguetes de IA?

Los juguetes están conectados a Internet (a través de WiFi o Bluetooth a un teléfono u otro dispositivo con acceso a Internet) y envían datos al proveedor. Esto permite que la IA de la compañía aprenda y pueda hablar mejor con el niño.

La compañía registra y recopila todas las conversaciones del niño con el juguete, y posiblemente aquellas con otros niños y adultos que también interactúan con él.

Probablemente, la empresa esté almacenando estos datos y ciertamente los utilice para crear un mejor producto.

La ubicación del juguete afecta cómo se almacenan los datos. Por ejemplo, en los EE. UU., Las empresas que crean juguetes educativos pueden almacenar datos durante más tiempo que otras compañías. Entonces, cuando el fabricante describe su juguete como educativo, abre ese derecho a aferrarse a los datos por más tiempo.

A medida que llegan al mercado más dispositivos, muchos comercializados como juguetes educativos, están haciendo sonar las alarmas en torno a la privacidad, los prejuicios, la vigilancia, la manipulación, la democracia, la transparencia y la responsabilidad.

¿Qué problemas deberían preocuparnos más?

Alemania prohibió a Cayla y juguetes similares debido a las preocupaciones de que podrían ser utilizados para espiar a los niños y que alguien podría hackear el dispositivo y comunicarse directamente con el niño.

Pero también estamos hablando de compañías que monetizan datos. Los datos de los juguetes AI contienen todo lo que un niño le dice al dispositivo, incluidos sus secretos más preciados.

Si se recopilan esos datos, ¿tiene el niño derecho a recuperarlos? Si los datos se recopilan desde la primera infancia y no pertenecen al niño, ¿lo vuelven más vulnerable porque sus opciones y patrones de comportamiento podrían ser conocidos por cualquiera que compre los datos, por ejemplo, empresas o campañas políticas?

Dependiendo de las leyes de privacidad del estado en el que se usan los juguetes, si se recopilan y conservan los datos, infringe el Artículo 16 de la Convención sobre los Derechos del Niño: el derecho a la privacidad. (Aunque, por supuesto, podría decirse que esto es algo que los padres rutinariamente hacen publicando imágenes de sus hijos en Facebook).

¿Cuáles son los beneficios de los juguetes AI?

La mayoría de los economistas argumentarían que mejorar y aumentar el acceso a la educación es una de las mejores maneras de cerrar la brecha entre el mundo en desarrollo y el mundo desarrollado.

Los juguetes educativos y los "maestros" habilitados para IA podrían representar una gran diferencia en el mundo en desarrollo.

Pero, si el capitalista de riesgo y ex CEO de Google China, Kai Fu Lee está en lo cierto, los datos recopilados de estos dispositivos simplemente serían utilizados por las grandes compañías de IA en Occidente y China, en lugar de beneficiar a los niños, sus padres o los países en los que viven.

¿Qué influencia podrían tener los juguetes AI en los niños?

Además del riesgo de piratería, también debemos pensar en lo que estos juguetes les dicen a nuestros hijos. ¿Quién es el árbitro de estas conversaciones? ¿Quién codificó los algoritmos (sus sesgos involuntarios podrían colarse)? ¿Los valores a los que el niño está expuesto se alinean con los de los padres? ¿Los padres podrán elegir los valores con los que está codificado el juguete?

Si el juguete es educativo, ¿está el algoritmo controlado por alguien que al menos está calificado para enseñar?

Estos juguetes serán muy influyentes porque los niños conversarán con ellos todo el tiempo. Por ejemplo, si la muñeca dice que hace frío y el niño le pide a sus padres que le compren un abrigo, ¿es eso publicidad?

Si el niño tiene un juguete que puede replicar, en lugar de un amigo invisible, ¿esto afectará el juego creativo para bien o para mal? El niño ya no tendrá que inventar historias sobre un amigo invisible. ¿Podría este gran cambio en el juego creativo alterarnos como seres humanos?

Si se recopilan datos, incluso si no se almacenan, ¿tiene la empresa el deber de "alertar" a los niños que comparten pensamientos suicidas u otras conductas autodestructivas? ¿Qué pasa si el niño confía en el juguete que está siendo abusado, la compañía informará esto a las autoridades pertinentes? Y entonces, ¿qué hará la compañía con esa información?

Entonces, ¿qué podemos hacer para proteger a los niños?

Los padres deben tener respuestas a estas preguntas antes de comprar los dispositivos. Por lo menos, deben verificar que su hijo esté aprendiendo valores de los juguetes de inteligencia artificial que concuerden con los suyos.

En este momento, la responsabilidad recae en los consumidores para saber qué se está haciendo con sus datos, pero se debate que las empresas deben hacerse responsables de garantizar que los consumidores comprendan cómo se usa.

En el Foro Económico Mundial, se hará un proyecto que reimagina el papel de los reguladores para que certifiquen los algoritmos adecuados para su propósito, en oposición a la situación actual en la que los reguladores emiten una multa después de que algo sale mal.

Este podría ser el modelo de regulación correcto aquí porque es necesario ahora y forma parte de mecanismos ágiles de gobernanza. El problema, sin embargo, con la gobernanza de los juguetes inteligentes es que la IA está aprendiendo y cambiando con cada interacción con el niño.

Esto no significa que estamos diciendo que los juguetes habilitados para IA son malos. Es posible que algún día nos ayuden a lograr un aprendizaje de precisión (usando AI para adaptar la educación a las necesidades de cada niño). Y los juguetes de AI podrían ser excelentes para preparar a los niños para trabajar junto con robots autónomos.

Lo que estamos diciendo es que los niños son vulnerables, por lo que deberíamos considerar ahora cómo se usa la IA a su alrededor y no probarla en forma beta.

Rosamond Hutt