'My Friend Cayla' es una muñeca conectada a internet que utiliza tecnología de reconocimiento de voz para chatear e interactuar con niños en tiempo real. Las conversaciones de Cayla se graban y transmiten en línea a una compañía de análisis de voz.
Esto generó preocupaciones de que los hackers pudieran
espiar a los niños o comunicarse directamente con ellos mientras juegan con la
muñeca. También hay inquietudes sobre cómo se usan los datos de voz de los
niños. En 2017, los reguladores alemanes instaron a los padres a destruir la
muñeca, clasificándola como un "aparato de espionaje ilegal".
Cayla es solo un ejemplo de una nueva ola de juguetes de
inteligencia artificial (IA) que "se hacen amigos" de los niños. Los
fabricantes a menudo afirman que son educativos, mejoran el juego y ayudan a
los niños a desarrollar habilidades sociales. Pero los grupos de consumidores
advierten que los juguetes inteligentes, al igual que otras "cosas"
que conectamos a Internet, pueden poner en riesgo la seguridad y la privacidad.
En la siguiente sesión de preguntas y respuestas, Kay
Firth-Butterfield , Jefe de Inteligencia Artificial y Aprendizaje Automático
del Foro Económico Mundial, explica cómo navegar en un mundo en el que los
juguetes de IA son cada vez más populares.
¿Qué pasa con los datos de los juguetes de IA?
Los juguetes están conectados a Internet (a través de WiFi o
Bluetooth a un teléfono u otro dispositivo con acceso a Internet) y envían
datos al proveedor. Esto permite que la IA de la compañía aprenda y pueda
hablar mejor con el niño.
La compañía registra y recopila todas las conversaciones del
niño con el juguete, y posiblemente aquellas con otros niños y adultos que
también interactúan con él.
Probablemente, la empresa esté almacenando estos datos y
ciertamente los utilice para crear un mejor producto.
La ubicación del juguete afecta cómo se almacenan los datos.
Por ejemplo, en los EE. UU., Las empresas que crean juguetes educativos pueden
almacenar datos durante más tiempo que otras compañías. Entonces, cuando el
fabricante describe su juguete como educativo, abre ese derecho a aferrarse a
los datos por más tiempo.
A medida que llegan al mercado más dispositivos, muchos
comercializados como juguetes educativos, están haciendo sonar las alarmas en
torno a la privacidad, los prejuicios, la vigilancia, la manipulación, la
democracia, la transparencia y la responsabilidad.
¿Qué problemas deberían preocuparnos más?
Alemania prohibió a Cayla y juguetes similares debido a las
preocupaciones de que podrían ser utilizados para espiar a los niños y que
alguien podría hackear el dispositivo y comunicarse directamente con el niño.
Pero también estamos hablando de compañías que monetizan
datos. Los datos de los juguetes AI contienen todo lo que un niño le dice al
dispositivo, incluidos sus secretos más preciados.
Si se recopilan esos datos, ¿tiene el niño derecho a
recuperarlos? Si los datos se recopilan desde la primera infancia y no
pertenecen al niño, ¿lo vuelven más vulnerable porque sus opciones y patrones
de comportamiento podrían ser conocidos por cualquiera que compre los datos,
por ejemplo, empresas o campañas políticas?
Dependiendo de las leyes de privacidad del estado en el que
se usan los juguetes, si se recopilan y conservan los datos, infringe el
Artículo 16 de la Convención sobre los Derechos del Niño: el derecho a la
privacidad. (Aunque, por supuesto, podría decirse que esto es algo que los
padres rutinariamente hacen publicando imágenes de sus hijos en Facebook).
¿Cuáles son los beneficios de los juguetes AI?
La mayoría de los economistas argumentarían que mejorar y
aumentar el acceso a la educación es una de las mejores maneras de cerrar la
brecha entre el mundo en desarrollo y el mundo desarrollado.
Los juguetes educativos y los "maestros"
habilitados para IA podrían representar una gran diferencia en el mundo en
desarrollo.
Pero, si el capitalista de riesgo y ex CEO de Google China,
Kai Fu Lee está en lo cierto, los datos recopilados de estos dispositivos
simplemente serían utilizados por las grandes compañías de IA en Occidente y
China, en lugar de beneficiar a los niños, sus padres o los países en los que
viven.
¿Qué influencia podrían tener los juguetes AI en los niños?
Además del riesgo de piratería, también debemos pensar en lo
que estos juguetes les dicen a nuestros hijos. ¿Quién es el árbitro de estas
conversaciones? ¿Quién codificó los algoritmos (sus sesgos involuntarios
podrían colarse)? ¿Los valores a los que el niño está expuesto se alinean con
los de los padres? ¿Los padres podrán elegir los valores con los que está
codificado el juguete?
Si el juguete es educativo, ¿está el algoritmo controlado
por alguien que al menos está calificado para enseñar?
Estos juguetes serán muy influyentes porque los niños
conversarán con ellos todo el tiempo. Por ejemplo, si la muñeca dice que hace
frío y el niño le pide a sus padres que le compren un abrigo, ¿es eso
publicidad?
Si el niño tiene un juguete que puede replicar, en lugar de
un amigo invisible, ¿esto afectará el juego creativo para bien o para mal? El
niño ya no tendrá que inventar historias sobre un amigo invisible. ¿Podría este
gran cambio en el juego creativo alterarnos como seres humanos?
Si se recopilan datos, incluso si no se almacenan, ¿tiene la
empresa el deber de "alertar" a los niños que comparten pensamientos
suicidas u otras conductas autodestructivas? ¿Qué pasa si el niño confía en el
juguete que está siendo abusado, la compañía informará esto a las autoridades
pertinentes? Y entonces, ¿qué hará la compañía con esa información?
Entonces, ¿qué podemos hacer para proteger a los niños?
Los padres deben tener respuestas a estas preguntas antes de
comprar los dispositivos. Por lo menos, deben verificar que su hijo esté
aprendiendo valores de los juguetes de inteligencia artificial que concuerden
con los suyos.
En este momento, la responsabilidad recae en los
consumidores para saber qué se está haciendo con sus datos, pero se debate que
las empresas deben hacerse responsables de garantizar que los consumidores
comprendan cómo se usa.
En el Foro Económico Mundial, se hará un proyecto que
reimagina el papel de los reguladores para que certifiquen los algoritmos
adecuados para su propósito, en oposición a la situación actual en la que los
reguladores emiten una multa después de que algo sale mal.
Este podría ser el modelo de regulación correcto aquí porque
es necesario ahora y forma parte de mecanismos ágiles de gobernanza. El
problema, sin embargo, con la gobernanza de los juguetes inteligentes es que la
IA está aprendiendo y cambiando con cada interacción con el niño.
Esto no significa que estamos diciendo que los juguetes
habilitados para IA son malos. Es posible que algún día nos ayuden a lograr un
aprendizaje de precisión (usando AI para adaptar la educación a las necesidades
de cada niño). Y los juguetes de AI podrían ser excelentes para preparar a los
niños para trabajar junto con robots autónomos.
Lo que estamos diciendo es que los niños son vulnerables,
por lo que deberíamos considerar ahora cómo se usa la IA a su alrededor y no
probarla en forma beta.
