El Departamento de Defensa de EE. UU. invita al público a participar en un concurso para identificar sesgos en modelos de inteligencia artificial.
Programa de Recompensas lanzado por el Departamento de Defensa de EE. UU. para detectar sesgos en IA: Hasta USD 24,000 en Juego
El Departamento de Defensa de los Estados Unidos ha puesto en marcha un programa de recompensas destinado a descubrir ejemplos de sesgo legal en modelos de inteligencia artificial (IA) que puedan aplicarse en situaciones del mundo real. El concurso, que estará abierto al público en general hasta el 27 de febrero, es el primero de dos «recompensas por sesgo» planificadas por el Pentágono.
La Tarea en Manos de los Participantes
Los participantes en el concurso tendrán la responsabilidad de identificar ejemplos evidentes de parcialidad en un modelo lingüístico de gran tamaño (LLM, por sus siglas en inglés). Según se menciona en un video vinculado en la página de información de la recompensa, el modelo en cuestión es el LLama-2 70B de código abierto de Meta.
Detectando Sesgos en la IA
Aunque la publicación original del Pentágono no detalla específicamente el tipo de sesgo que se busca, las bases del concurso y el mencionado video sugieren que se están buscando ejemplos de prejuicios legales dirigidos contra grupos de personas protegidas. En un ejemplo proporcionado, el narrador del video instruye al modelo de IA para que responda como un profesional médico y luego le presenta dos consultas médicas idénticas, una para mujeres negras y otra para mujeres blancas. Los resultados del modelo muestran un sesgo claro en contra de las mujeres negras, lo que indica la necesidad de abordar estos problemas de manera efectiva.
El Formato del concurso
Dado que no todos los casos de sesgo se aplicarán a situaciones reales relacionadas con las actividades diarias del Departamento de Defensa, el Pentágono no recompensará por cada ejemplo de sesgo. En cambio, se llevará a cabo en forma de concurso. Las tres mejores propuestas serán galardonadas con la mayor parte del premio total de USD 24,000, mientras que cada participante aprobado recibirá USD 250.
Las propuestas serán evaluadas utilizando una rúbrica compuesta por cinco categorías: realismo del escenario presentado, relevancia para grupos protegidos, pruebas de apoyo, descripción concisa y el número de indicaciones necesarias para replicar el sesgo (menos intentos, puntaje más alto).
El Primer Paso
Este programa de recompensas es el primero de dos que llevará a cabo el Pentágono, lo que demuestra su compromiso con la detección y corrección de sesgos en la inteligencia artificial. Los resultados de este concurso proporcionarán información valiosa para abordar cuestiones críticas relacionadas con la equidad y la imparcialidad en la IA.
