El uso del blockchain por parte de FICO para desarrollar inteligencia artificial es reconocido como uno de Los Innovadores 2023 por Global Finance

Por Scott Zoldi, Director de Analítica (CAO) de FICO

“La innovación no sucede de la noche a la mañana”, dice la introducción a Los Innovadores 2023—Ganadores Globales, en la revista Global Finance. De hecho, toma años reconocer la innovación, como sucedió con blockchain, ahora patentada por FICO para la gobernabilidad de inteligencia artificial (IA) y modelos analíticos. La patente estadounidense se presentó en 2018 y se otorgó en 2023.

Como inventor principal de esta patente, me complace saber que la nueva aplicación de FICO de la tecnología de blockchain haya sido reconocida por Global Finance como una de las Mejores Innovaciones Financieras del Mundo en 2023. Fue un honor recibir este premio en nombre de FICO durante la gala de Global Finance en Londres, y me entusiasmó conocer a las demás personas galardonadas que representaban a bancos, fintechs y otras organizaciones de todas partes del mundo.

La innovación no se logra de la noche a la mañana

Muchas innovaciones de los inventores se adelantaron a su tiempo: los lentes de contacto, las celdas solares, los inodoros modernos y los autos eléctricos, por nombrar unos cuantos. Cuando recién empecé a escribir artículos sobre cómo blockchain se utilizaba para la gobernabilidad de los modelos de IA en 2017, muchos desconfiaban. Así describí la aplicación de dicha tecnología en la IA en mi blog sobre predicciones de IA para el 2018: “Además de asociarse con las criptodivisas, la tecnología de blockchain pronto registrará ‘cadenas de tiempo de eventos’ que se aplicarán en contratos, interacciones e incidencias. En ellas, las personas y los elementos con los que interactuamos tendrán identidades codificadas. El blockchain que se distribuye será la única fuente de la verdad, permitiendo registros de auditoría de uso de datos en modelos, particularmente en derechos de permiso de datos. Más allá de eso, tales cadenas crearán nuevas oportunidades para el análisis de gráficos y nuevos algoritmos de IA para consumir datos de relaciones a escala.”

En 2018 optimicé estos conceptos, lo que produjo una aplicación de patente sobre el uso del blockchain para asegurar que todas las decisiones tomadas en torno al modelo de machine learning (ML) pudieran registrarse y auditarse. Estas incluyen las variables y el diseño del modelo, los datos de entrenamiento y prueba utilizados, la selección de funciones y la capacidad de ver las funciones latentes del modelo, así como el registro en blockchain a todos los científicos que desarrollaron las distintas partes de los conjuntos de variables y participaron en la creación y prueba del modelo. En 2023, la patente otorgada se describe de la siguiente manera: “Blockchain for Data and Model Governance” (Blockchain para gobernabilidad de datos y modelos) – Presenta el concepto de un libro contable que se utiliza para registrar el origen del desarrollo, operación y monitoreo de un modelo de aprendizaje automático de manera inmutable. La solución y metodología subyacente imponen el uso de un estándar corporativo de desarrollo de modelos para asegurar que las organizaciones acaten las prácticas de IA responsable.

La responsabilidad es importante en la IA

Debido a que están habilitados por tecnología de blockchain, la suma y el registro total de estas decisiones proporcionan la visibilidad necesaria para gobernar eficazmente los modelos. La gobernabilidad y transparencia de los modelos son esenciales para desarrollar una tecnología de IA ética que sea auditable. Como científico de datos y miembro de la comunidad analítica global, desarrollar tecnología analítica ética es muy importante para mí, principalmente porque atiendo a clientes financieros y empresariales.

El surgimiento meteórico de ChatGPT y de otras herramientas LLM (modelos de lenguaje de gran tamaño) propulsaron también la ética de la inteligencia artificial (más precisamente, las “alucinaciones” de la IA) hacia los niveles superiores de la cultura pop. En 2023, los ciudadanos comunes y corrientes se percataron de primera mano de los peligros de la “caja negra” de la inteligencia artificial: la utilizaban todos los días para actividades como hacer trampa en sus tareas o alimentar la dismorfia corporal. De pronto, todos querían saber cómo y por qué funcionaban estos modelos. Sin embargo, debido a que su proceso de toma de decisiones no lo explican los creadores como OpenAI, Anthropic, Google, Meta y docenas más, no lo sabemos.

Considero que estamos en medio de una crisis de responsabilidad de IA, que pienso empeorará antes de mejorar, y sólo lo hará si las empresas y consumidores exigen que los modelos de IA sean más explicables.

Cómo el blockchain puede reducir los resultados negativos de la inteligencia artificial

Mucho antes de que el blockchain y ChatGPT se convirtieran en palabras de moda, empecé a implementar un enfoque estructurado en torno al desarrollo de modelos de IA en mi organización de ciencia de los datos. En 2010 establecí un proceso de desarrollo centrado en un documento de seguimiento analítico. Este enfoque detallaba el diseño del modelo, los conjuntos variables, los científicos asignados, los datos sobre entrenamiento y prueba y los criterios de éxito, lo que dividía todo el proceso de desarrollo en tres o más sprints rápidos.

Se requería un enfoque estructurado; había observado demasiados resultados negativos de lo que se había convertido en la norma en gran parte de la industria bancaria: falta de verificación y responsabilidad. Hace una década, durante el ciclo de vida general de un modelo analítico, en los casos más graves, un científico de datos podía tomar decisiones con variables capaces de introducir sesgo, sensibilidad del modelo o filtraciones en el objetivo. Si deja la organización, sus directorios suelen ser eliminados. A menudo, existían varios directorios y no estaba claro cuál o cuáles eran responsables del modelo final. La compañía no tenía el código fuente del modelo o tenía sólo partes de él. Nadie podía entender por completo cómo se construyó el modelo, los datos en los que se basó y las suposiciones que influyeron en la versión del modelo.

Esto se convierte en una situación de alto riesgo cuando se asume que el modelo se ha desarrollado adecuadamente y que se comportará bien, aunque en realidad no se puede saber a ciencia cierta. Por lo general, esto impedía corroborar el modelo o conocer en qué condiciones debía utilizarse. Estas realidades conllevan riesgos innecesarios y crean la necesidad de descartar y volver a desarrollar un gran número de modelos, lo que obliga a repetir el proceso antes mencionado. Lamentablemente, las compañías que lanzan sistemas de IA LLM no aplican el mismo nivel de prudencia o contención que las instituciones financieras. Bajo presión de comercializarlos más rápido que sus competidores, los LLM se lanzan rápidamente “al mundo salvaje”, lo que aumenta su imprevisibilidad y genera resultados negativos para las personas y empresas que los utilizan.

Blockchain para codificar la contabilidad

Mi patente describe cómo codificar la IA, el análisis y desarrollo de los modelos de aprendizaje automático utilizando tecnología de blockchain para asociar una cadena de entidades, tareas laborales y requisitos con un modelo, incluyendo revisiones de prueba y verificación. El blockchain replica el enfoque que yo utilizo para desarrollar modelos en mi organización; básicamente, un contrato entre mis científicos, gerentes y yo que describe: qué es el modelo, sus objetivos y cómo se desarrollará; las áreas del modelo que deben optimizarse –por ejemplo, un 30% de mejora en la detección de fraudes con tarjeta no presente (CNP, por sus siglas en inglés) a nivel transacción–; los grados de libertad que tienen los científicos para resolver el problema; la reutilización de variables confiables y corroboradas, y de fragmentos del código del modelo; la prescripción de los algoritmos de modelo permitidos; los requisitos de entrenamiento y prueba de datos; la prueba de modelos específicos y las revisiones de verificación de modelos; el desarrollo de variables y modelos por parte de los científicos, que serán entrenados al igual que quienes hagan la verificación del código, la confirmación de resultados y la conducción de pruebas de las variables y de los resultados del modelo; la prescripción de pruebas de ética y robustez; el criterio de éxito específico para el modelo y segmentos de clientes específicos, y los sprints analíticos específicos, tareas y científicos asignados y revisiones de sprints/aprobaciones de regulaciones.

Como se ilustra en la Figura 1, todos esto se desglosa en una serie de requisitos, roles y tareas que se colocan en blockchain para asignarse, trabajarse, corroborarse y concluirse oficialmente. Con personas responsables de cada uno de los requisitos, el equipo entonces evalúa el material colateral existente, que generalmente consiste en partes previamente verificadas del código variable y los modelos. Algunas variables se han aprobado en el pasado, otras se ajustarán y otras más serán nuevas. El blockchain entonces registra cada vez que la variable se utiliza en ese modelo (por ejemplo, cualquier código adoptado de las tiendas de códigos, código recién escrito y código modificado), quién lo desarrolló, qué pruebas se condujeron, qué gerente de modelos lo aprobó, y mi autorización.

Figura 1

De esta manera, el blockchain garantiza el uso adecuado de los algoritmos de machine learning aprobados que estén respaldados por el estándar corporativo de desarrollo de modelos. Por otra parte, asegura que se concluyan todas las pruebas éticas y de robustez, además de cumplir con cada requisito y criterio de éxito/aceptación. Ningún modelo se libera sin que se haya completado este proceso, y todo se cumple mediante el blockchain.

Modelos más explicables, con menor sesgo y menos alucinaciones

Partes externas a la organización de desarrollo también pueden usar blockchain para orquestar el estándar corporativo de desarrollo de modelos y acelerar el proceso de desarrollo de modelos. Si una parte externa quisiera auditar la forma en que se desarrolló un modelo crítico, su revisión podría producir una declaración como “todas las variables se han revisado y fueron aprobadas por…”.

Con el blockchain para persistir el proceso de desarrollo del modelo analítico, este se vuelve sumamente transparente y las decisiones subsiguientes son auditables, un factor crítico para ofrecer tecnología de IA que sea ética y explicable. La capacidad explicativa es fundamental para erradicar los sesgos y “alucinaciones” de los modelos de IA que se utilizan para tomar decisiones que afectan las vidas financieras de las personas, y, en el caso de los LLM, sus vidas cotidianas.

Si bien la innovación no sucede de la noche a la mañana, a veces la necesidad de aplicar la innovación sí lo hace. Pienso que nuestra sociedad está justo en ese momento con el uso generalizado de las herramientas de inteligencia artificial de LLM. Ahora más que nunca, la gobernabilidad del modelo es primordial para crear IA que sea explicable, ética y segura.