Se gesta la Inteligencia Artificial de la ciencia

Un consorcio global de científicos está dando forma a un proyecto que pretende posibilitar la aplicación a gran escala de la Inteligencia Artificial a la investigación científica potenciando la supercomputación.

Algo muy importante está ocurriendo en los sótanos de la ciencia mundial: desde 2023 ha estado formándose un consorcio global de científicos, tanto del mundo académico como de la industria, para alumbrar lo que ha dado en llamarse la IA de la ciencia.

España entra en el club de los 10 superordenadores más potentes del mundo

Este consorcio ya cuenta con más de 850 participantes de más de 100 organizaciones de todo el mundo y estos días se presenta en Barcelona el lanzamiento europeo de esta iniciativa, denominada International Trillion Parameter Consortium (TPC).

Modelos fundacionales para la ciencia

La idea que inspira este proyecto es tan original como potente y pretende hacer realidad la promesa de emplear modelos "fundacionales" a gran escala para el descubrimiento científico.

Los modelos fundacionales (FM) son redes neuronales que han cambiado la forma en la que los científicos abordan el aprendizaje profundo (ML en inglés), un método de la inteligencia artificial (IA) que procesa datos de la misma forma que lo hace el cerebro humano.

En lugar de desarrollar la inteligencia artificial (IA) desde cero, los científicos de datos utilizan un modelo fundacional como punto de partida para desarrollar modelos de aprendizaje profundo que impulsen aplicaciones nuevas de manera rápida y rentable, capaces de realizar una gran variedad de tareas generales, como comprender el lenguaje, generar texto e imágenes y conversar en lenguaje natural.

Cambios vitales

Los modelos fundacionales están preparados para cambiar significativamente el ciclo de vida del aprendizaje profundo, consideran los expertos. Aunque actualmente cuesta millones de dólares desarrollar un modelo fundacional desde cero, son tremendamente útiles a largo plazo porque resulta más rápido y económico para los científicos de datos utilizar modelos fundacionales entrenados para desarrollar nuevas aplicaciones ML, que entrenar modelos de aprendizaje automático desde cero.

Eso representa un desafío para avanzar consistentemente en el progreso científico, ya que en la actualidad solo un número relativamente pequeño de organizaciones tiene los recursos necesarios para construir modelos fundacionales a escalas de última generación, con billones de parámetros que han sido entrenados utilizando decenas de billones de tokens o componentes léxicos.

Compartiendo estrategias y datos

Para trascender esta limitación, equipos multiinstitucionales de diferentes partes del mundo han ido compartiendo estrategias tales como arquitectura, evaluación y capacitación de modelos fundacionales, así como conjuntos de datos de capacitación de alta calidad, hasta culminar el año pasado en la constitución del Trillion Parameter Consortium.

La idea era aprovechar las plataformas exaescala que ya se estaban implementando en diferentes países, que son ideales para entrenar y evaluar modelos de lenguaje a gran escala para la ciencia y la ingeniería, y construir conjuntamente modelos de lenguaje grandes (LLM) de última generación. Un modelo de lenguaje grande es un algoritmo de aprendizaje profundo que puede realizar una variedad de tareas de procesamiento de lenguaje natural (NLP) y reconocer, traducir, predecir o generar texto u otro contenido.

Conseguir ese objetivo requiere una amplia comunidad de instituciones, equipos humanos y recursos para alcanzar la pretendida IA de la ciencia. Eso es el TPC: aglutina a equipos de investigadores colaborando en la construcción, entrenamiento y uso de modelos de IA a gran escala y en la explotación de sistemas informáticos extensivos, con la finalidad de abordar desafíos clave en el avance de la IA para la ciencia. 

Desafíos IA para la ciencia

Estos desafíos incluyen el desarrollo de arquitecturas de modelos escalables, así como la elaboración de estrategias de capacitación, organización y curación de datos científicos para modelos de capacitación.

Optimizar las bibliotecas de IA para plataformas informáticas de exaescala (un nuevo nivel de supercomputación capaz de cálculos de coma flotante de al menos un exaflop por segundo); y desarrollar plataformas para evaluar el progreso en el aprendizaje confiable de tareas científicas, son otros de los desafíos científicos que la IA aliada con la supercomputación puede ayudar a resolver.

Proyecto en formación

Para alcanzar estos objetivos, el TPC facilita la colaboración entre expertos en computación de alto rendimiento e Inteligencia Artificial que maximizan el uso de recursos y avanzan en las aplicaciones de IA en ciencia e ingeniería, informa el BSC-CNS.

El objetivo actual del TPC, un proyecto todavía en plena fase de formación, es hacer crecer la comunidad de expertos implicados, apoyar el desarrollo profesional, permitir a los científicos aprovechar la IA para la investigación y reducir la duplicación de esfuerzos necesarios para acelerar los avances científicos en IA, especialmente a través del poder predictivo de los modelos de lenguaje grandes, que ya se han convertido en métodos de referencia en muchos dominios científicos.

Cita en Barcelona

El Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS) es el organizador del lanzamiento europeo del TPC, que tiene lugar del 19 al 21 de junio de 2024 en la ciudad condal con la participación de líderes de la industria, investigadores y profesionales destacados, entre los que se encuentran Rick Stevens (Argonne National Laboratory), Satoshi Matsuoka (RIKEN) y Mateo Valero (BSC).

En este lanzamiento se debate el potencial transformador de la IA Generativa en aplicaciones científico-técnicas, con especial atención a la participación de las comunidades europeas de investigación en IA, computación de alto rendimiento (HPC) y ciencias disciplinares. 

"El poder predictivo de los modelos lingüísticos de gran tamaño (LLM) los ha hecho cada vez más esenciales en muchos ámbitos científicos, lo que plantea nuevos retos, pero también importantes oportunidades. Este evento es una ocasión para explorar cómo la IA Generativa está reconfigurando la ciencia y la ingeniería, y para acelerar su adopción en diversos campos", afirma Mateo Valero, director del BSC.