La nueva edición de la conferencia internacional Neural Information Processing Systems, una de las más importantes en el área de machine learning, comenzará a fines de noviembre en New Orleans, Estados Unidos. En total, serán cuatro los trabajos presentes en este encuentro y en los que participan como coautores los investigadores Cristóbal Guzmán y Pablo Barceló.
Entre los días 28 de noviembre y 9 de diciembre se realizará la versión número 36 de la conferencia internacional Neural Information Processing Systems (NeurIPS 2022), reconocida internacionalmente por ser uno de los eventos más importantes en el ámbito del aprendizaje automático (machine learning). Su trayectoria abarca más de 30 años y reúne anualmente a más de 10.000 asistentes que incluyen tanto a académicos como a personas de la industria.
La conferencia, que en esta ocasión se realizará en New Orleans, Estados Unidos, se caracteriza por ser numerosa y competitiva. Durante el llamado para la recepción de contribuciones se reciben cerca de 10.000 papers de investigadores especializados en diversos campos ligados al machine learning, tales como la neurociencia, la estadística, la optimización, la visión por computador y el procesamiento del lenguaje natural hasta las ciencias de la vida, las ciencias naturales y las ciencias sociales, entre otras disciplinas. De este alto volumen de artículos, sólo cerca del 25% es seleccionado para ser presentado durante las dos semanas que dura el evento.
Para esta versión 2022, fueron seleccionados tres papers en los que participa el investigador Cristóbal Guzmán, profesor asistente del Instituto de Ingeniería Matemática y Computacional (IMC UC) e investigador del Centro Nacional de Inteligencia Artificial (Cenia), y un paper cuyo coautor es Pablo Barceló, director del IMC UC e investigador principal de Cenia. Ambos investigadores participarán en la conferencia de manera presencial. Además, Guzmán es coorganizador de uno de los numerosos workshops que se realizarán durante NeurIPS, y que lleva por título Optimization for Machine Learning (OPT 2022).
Ese encuentro en particular congregará a expertos en optimización que compartirán sus perspectivas y avances en el campo, además de promover la interacción con especialistas en machine learning. De hecho, explica Guzmán, este workshop es uno de los más antiguos que se celebran en el marco de NeurIPS. “En promedio, se reúnen unas 100 personas. Entre la gente que trabaja en machine learning, hay varios que trabajan un tanto alejados del centro de todo lo que está pasando, por lo que en este workshop se sienten como en casa y por eso participan”, señala el investigador.
Problemas de optimización en machine learning
Cristóbal Guzmán es Ingeniero Civil Matemático de formación y Doctor en Algoritmos, Combinatoria y Optimización. Los tres papers en los que participó y fueron aceptados en NeurIPS fueron publicados durante este año: el primero en febrero, el segundo a fines de marzo y el tercero en mayo. Todos ellos se relacionan con los estudios que ha estado realizando el investigador durante el último tiempo y que se centran en entender métodos iterativos para resolver problemas de aprendizaje automático.
Uno de ellos trata sobre privacidad diferencial en modelos lineales generalizados, se titula “Differentially Private Generalized Linear Models Revisited” y fue realizado en colaboración con los investigadores Raman Arora (U. Johns Hopkins, EE.UU), Raef Bassily (U. Estatal de Ohio), Michael Menart (U. Estatal de Ohio, EE.UU) y Enayat Ullah (U. Johns Hopkins, EE.UU). En palabras de Cristóbal Guzmán, esta línea de trabajo aborda cómo resolver problemas de optimización que aparecen en aprendizaje automático, pero enfocándose en “proteger la identidad y la información de usuarios que entregan sus datos para entrenar estos modelos”. En este sentido, el investigador comenta que dos de los campos donde hoy resulta esencial proteger la privacidad de los datos son el ámbito médico y el financiero.
El académico explica que para poder garantizar privacidad, generalmente es necesario agregar ruido adicional a los algoritmos que se utilizan, lo cual degrada la calidad de las soluciones. “En este paper trabajamos con un modelo específico, en el que es posible al menos prevenir que la cantidad de error que se introduzca crezca con la cantidad de atributos del modelo. Creemos que mitigar ese efecto de la dimensionalidad en un problema es algo interesante”, indica Guzmán.
Cristóbal Guzmán.
El segundo paper en el que participa Guzmán se titula “Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds vía Smoothness”. Fue elaborado junto a un equipo de investigación de la Universidad de Amsterdam, Países Bajos, que está compuesto por Sarah Sachs, Hédi Hadiji y Tim van Erven. El objetivo del paper es unir dos teorías existentes sobre cómo se resuelven diferentes problemas de optimización cuando se reciben datos que se van obteniendo de manera secuencial. “El modelo online de optimización tiene que ver precisamente con eso. Uno puede imaginarse que de alguna manera está realizando predicciones, pero uno no cuenta con el dataset disponible inmediatamente, sino que va observando cómo los usuarios llegan al sistema, y en ese sentido, uno va tratando de ajustar sus decisiones de acuerdo a esa secuencia que se va produciendo”, explica Guzmán.
En ese ámbito, agrega el investigador, está el modelo estocástico que supone que “todos los usuarios que llegan a un sistema siguen la misma distribución. Ese es el modelo estadístico clásico. Y también está el otro que es el modelo adversarial, donde uno cree que la secuencia puede ser producida por alguien malicioso, por llamarlo de alguna forma, y que está tratando de hacer que mi algoritmo falle”. El investigador añade que ninguno de estos modelos se considera realmente realista: “Ambos son idealizaciones de ciertas características que se busca incorporar. Entonces nuestra motivación es más bien entender si uno puede incorporar o interpolar estos escenarios, entre situaciones que sean entre estocásticas y adversariales”.
El tercer artículo se titula "A Stochastic Halpern Iteration with Variance Reduction for Stochastic Monotone Inclusion Problems" y fue realizado en colaboración con un equipo de investigación de la Universidad de Wisconsin-Madison (EE.UU.) conformado por Xufeng Cai, Chaobing Song y Jelena Diakonikolas. “Yo trabajo en optimización y la conexión con aprendizaje automático e inteligencia artificial es que los modelos que uno necesita resolver para poder entrenar estos sistemas son precisamente problemas de optimización”, indica Guzmán. Sin embargo, añade, hoy no sólo basta con entrenar un modelo sino que también se intenta incorporar el hecho de que quienes aportan sus datos son personas con intereses individuales.
"Hay gente o instituciones que actúan de manera estratégica y cuyas decisiones afectan los resultados del resto, y eso ocurre más y más en machine learning. Alguien, por ejemplo, podría entregarme datos corruptos para hacer que mis modelos no se desempeñen bien”, agrega. En este contexto, entender algoritmos que puedan calcular condiciones de equilibrio ante datos ruidosos es un problema desafiante e importante, y este artículo aborda una clase específica de problemas de este estilo donde se garantizan resultados de convergencia.
Las dinámicas asociadas a problemas de equilibrio podrían tener implicancias para ell funcionamiento de sistemas de inteligencia artificial ligados a temas más delicados y controversiales como los del ámbito político: “De hecho, mi interés a futuro es explorar más la línea de qué pasa con estos modelos que no solamente aprenden en un ambiente, digamos, inconsciente, sino que realmente reacciona a como yo lo observo y se produce una especie de feedback, donde la gente reacciona a las predicciones que hago sobre ella”.
La interpretabilidad, un área cada vez más relevante en inteligencia artificial
Mientras más avanza el desarrollo de la inteligencia artificial, mayor es la demanda en torno a la transparencia de los modelos de machine learning. Esto se debe a que, en gran parte, son muchas las empresas e instituciones públicas las que se han sumado a la transformación digital y han adoptado estas nuevas tecnologías, de manera que las decisiones tomadas por estos modelos adquieren especial cada vez más relevancia, en el sentido de no afectar negativamente a los usuarios.
El último paper seleccionado tiene como coautor a Pablo Barceló, quien se especializa en teoría de bases de datos y lógica en ciencia de la computación. El estudio trata sobre interpretabilidad en inteligencia artificial, se titula “On Computing Probabilistic Explanations for Decision Trees” y fue elaborado junto a los investigadores Marcelo Arenas (director del Instituto Milenio Fundamentos de los Datos, profesor del Departamento de Ciencia de la Computación de la Escuela de Ingeniería de la UC y académico en cargo compartido del IMC UC), Miguel Romero (Investigador Cenia y profesor de la Facultad de Ingeniería y Ciencias de la Universidad Adolfo Ibáñez) y Bernardo Subercaseaux (Estudiante de Ingeniería en Ciencias de la Computación de la Universidad de Chile).
Pablo Barceló.
Saber por qué un modelo de machine learning toma una decisión determinada entre varias posibles opciones es, en muchas ocasiones, bastante complejo y puede afectar la vida de las personas. Barceló explica la repercusión de este fenómeno en el siguiente ejemplo: “Si una entidad bancaria no entrega un crédito, tendría que, por razones legales, estar obligado a explicarle al cliente por qué no se lo dio, y al menos debería ser capaz de demostrar que no está ocupando cierta información protegida, como por ejemplo, el género del cliente. Esa información no debería ocuparse para eso, mientras que los modelos de machine learning van a ocupar todos los datos que estén a la mano para tomar las decisiones que ellos consideran óptimas, a menos que sean diseñados para que sean más robustos.” En este sentido, el investigador explica el objetivo de su estudio: “Lo que tratamos de investigar es cuáles son las características, dentro de toda la información que utiliza el modelo para tomar una decisión, las que mayormente influencian esa determinación que está tomando sobre alguna entidad, objeto, persona, etcétera”.
Barceló agrega que no todos los modelos en inteligencia artificial funcionan igual, de modo que hay algunos más transparentes o sencillos de interpretar que otros, como los modelos de árboles de decisión o los modelos basados en clasificación lineal, en comparación a los modelos de redes neuronales profundas que suelen ser mucho más opacos. Ante estas dos opciones, en algunas ocasiones se recomienda utilizar uno u otro modelo considerando el tipo de decisión que la inteligencia artificial deberá tomar y a quién(es) afectaría. Sin embargo, la vertiente que estudia el investigador tiene que ver específicamente con intentar interpretar los modelos opacos, los que a su vez, presentan muchos beneficios en términos de predicción: “Debemos procurar que de alguna forma tengamos mejores métodos de explicación, mejores aproximaciones a esas explicaciones. Y eso es lo que nosotros hemos tratado de hacer, meternos en las decisiones de estos modelos más complejos”.