Un estimado colega nos comparte, para esta emisión, el presente artículo en donde se describe un nuevo prototipo de circuito integrado (chip), creado en el Laboratorio de Investigación de la IBM en California, que lleva mucho tiempo en desarrollo y tiene el potencial de cambiar cómo y dónde se utiliza la Inteligencia Artificial (IA) de manera eficiente. El artículo fue escrito por Mike Murphy, publicado el 19 de octubre en el Blog Research de IBM y nosotros lo tradujimos para este espacio. Veamos de qué se trata…
Estamos en medio de una explosión cámbrica en IA. Durante la última década, la IA ha pasado de la teoría y las pequeñas pruebas a casos de uso a escala empresarial. Pero el hardware utilizado para ejecutar los sistemas de IA, aunque cada vez más potente, no fue diseñado teniendo en cuenta la IA actual. A medida que los sistemas de IA crecen, los costos se disparan. Y la Ley de Moore, la teoría de que la densidad de los circuitos en los procesadores se duplicaría cada año, se ha desacelerado.
Pero una nueva investigación del laboratorio de IBM Research en Almaden, California, que lleva casi dos décadas en desarrollo, tiene el potencial de cambiar drásticamente la forma en que podemos ampliar de manera eficiente los potentes sistemas de hardware de IA.
Desde el nacimiento de la industria de los semiconductores, los chips de computadora han seguido principalmente la misma estructura básica, donde las unidades de procesamiento y la memoria que almacena la información a procesar se almacenan de manera discreta. Si bien esta estructura ha permitido diseños más simples que han podido ampliarse a lo largo de las décadas, ha creado lo que se llama el cuello de botella de Von Neumann, donde se necesita tiempo y energía para barajar continuamente datos entre la memoria, el procesamiento y cualquier otro dispositivo dentro de un chip. El trabajo de Dharmendra Modha, de IBM Research, y sus colegas pretende cambiar esta situación, inspirándose en la forma en que procesa la información el cerebro. "Esto abre un camino completamente diferente al de la arquitectura de Von Neumann", según Modha.
Durante los últimos ocho años, Modha ha estado trabajando en un nuevo tipo de chip de IA digital para inferencia neuronal, al que llama NorthPole. Es una extensión de TrueNorth, el último chip inspirado en el cerebro en el que trabajó Modha antes de 2014. En pruebas en los populares modelos de reconocimiento de imágenes ResNet-50 y detección de objetos YOLOv4, el nuevo prototipo de dispositivo ha demostrado una mayor eficiencia energética, mayor eficiencia espacial, y latencia más baja que cualquier otro chip actualmente en el mercado, y es aproximadamente 4000 veces más rápido que TrueNorth.
El primer conjunto prometedor de resultados de los chips NorthPole se publicó el 19 de
octubre en Science. Según Modha, NorthPole es un gran avance en la arquitectura de chips que ofrece mejoras masivas en la eficiencia energética, espacial y temporal. Utilizando el modelo ResNet-50 como punto de referencia, NorthPole es considerablemente más eficiente que las GPU de 12 nm y las CPU de 14 nm comunes. (El propio NorthPole se basa en tecnología de procesamiento de nodos de 12 nm). En ambos casos, NorthPole es 25 veces más eficiente energéticamente, en lo que respecta a la cantidad de fotogramas interpretados por julio de potencia requerida. NorthPole también superó en latencia, así como en espacio requerido para computar, en términos de fotogramas interpretados por segundo por cada mil millones de transistores necesarios. Según Modha, en ResNet-50, NorthPole supera a todas las principales arquitecturas predominantes, incluso aquellas que utilizan procesos tecnológicos más avanzados, como una GPU implementada mediante un proceso de 4 nm.
¿Cómo logra un procesamiento con tanta eficiencia como los chips existentes? Una de las mayores diferencias con NorthPole es que toda la memoria del dispositivo está en el propio chip, en lugar de estar conectada por separado. Sin ese cuello de botella de von Neumann, el chip puede realizar inferencias de IA considerablemente más rápido que otros chips que ya están en el mercado. NorthPole se fabricó con un proceso de nodo de 12 nm y contiene 22 mil millones de transistores en 800 milímetros cuadrados. Tiene 256 núcleos y puede realizar 2048 operaciones por núcleo por ciclo con una precisión de 8 bits, con potencial para duplicar y cuadriplicar el número de operaciones con precisión de 4 y 2 bits, respectivamente. "Es una red completa en un chip", dijo Modha.
"Arquitectónicamente, NorthPole desdibuja el límite entre computación y memoria", dijo Modha. "A nivel de núcleos individuales, NorthPole aparece como una memoria cercana a la computación y desde fuera del chip, a nivel de entrada-salida, aparece como una memoria activa". Esto hace que NorthPole sea fácil de integrar en los sistemas y reduce significativamente la carga en la máquina host.
Pero la mayor ventaja de NorthPole es también una limitación: sólo puede extraer datos fácilmente de la memoria que tiene a bordo. Todas las aceleraciones posibles en el chip se verían socavadas si tuviera que acceder a la información desde otro lugar. A través de un enfoque llamado escalamiento horizontal, NorthPole puede soportar redes neuronales más grandes dividiéndolas en subredes más pequeñas que se ajusten a la memoria del modelo de NorthPole y conectando estas subredes entre sí en múltiples chips NorthPole. Entonces, si bien hay suficiente memoria en un NorthPole (o colectivamente en un conjunto de NorthPoles) para muchos de los modelos que serían útiles para aplicaciones específicas, este chip no está destinado a ser un experto en todos los oficios. "No podemos ejecutar GPT-4 en esto, pero podríamos servir a muchos de los modelos que necesitan las empresas", dijo Modha. "Y, por supuesto, NorthPole es sólo para hacer inferencias".
Esta eficacia significa que el dispositivo tampoco necesita voluminosos sistemas de refrigeración líquida para funcionar (los ventiladores y los disipadores de calor son más que suficientes), lo que significa que podría implementarse en algunos espacios bastante pequeños.
Posibles aplicaciones del Polo Norte
Si bien la investigación sobre el chip NorthPole aún está en curso, su estructura se presta a casos de uso de IA emergentes, así como a otros más establecidos.
En las pruebas, el equipo de NorthPole se centró principalmente en usos relacionados con la visión por computadora, en parte porque la financiación del proyecto provino del Departamento de Defensa de Estados Unidos. Algunas de las principales aplicaciones consideradas fueron la detección, la segmentación de imágenes y la clasificación de vídeos. Pero también se probó en otros ámbitos, como el procesamiento del lenguaje natural (en el modelo BERT sólo con codificador) y el reconocimiento de voz (en el modelo DeepSpeech2). Actualmente, el equipo está explorando el mapeo de modelos de lenguaje grandes exclusivos para decodificadores a sistemas de escalamiento horizontal del NorthPole.
Cuando piensas en estas tareas de IA, te vienen a la mente todo tipo de casos de uso fantásticos, desde vehículos autónomos hasta robótica, asistentes digitales o computación espacial. Muchos tipos de aplicaciones periféricas que requieren cantidades masivas de procesamiento de datos en tiempo real podrían ser adecuadas para NorthPole. Por ejemplo, podría ser el tipo de dispositivo que se necesita para mover vehículos autónomos desde máquinas que requieren mapas y rutas establecidas para operar a pequeña escala, a vehículos que puedan pensar y reaccionar ante las raras situaciones extremas que dificultan la navegación. El mundo real es tan desafiante incluso para conductores humanos competentes. Este tipo de casos extremos son el punto óptimo exacto para futuras aplicaciones del NorthPole. NorthPole podría habilitar satélites que monitoreen la agricultura y gestionen las poblaciones de vida silvestre, monitoreen vehículos y mercancías para encontrar carreteras más seguras y menos congestionadas, operen robots de manera segura y detecten amenazas cibernéticas para negocios más seguros.
¿Qué sigue?
Este es sólo el comienzo del trabajo de Modha en NorthPole. El estado actual del arte para las CPU es de 3 nm, y la propia IBM ya lleva años investigando nodos de 2 nm. Eso significa que hay un puñado de generaciones de tecnologías de procesamiento de chips en las que se podría implementar NorthPole, además de innovaciones arquitectónicas fundamentales, para seguir obteniendo ganancias en eficiencia y rendimiento.
Pero para Modha, este es sólo un hito importante en un proceso que ha dominado los últimos 19 años de su carrera profesional. Ha estado trabajando en chips digitales inspirados en el cerebro durante todo ese tiempo, sabiendo que el cerebro es el procesador con mayor eficiencia energética que conocemos y buscando formas de replicarlo digitalmente. TrueNorth se inspiró completamente en las estructuras de las neuronas del cerebro y tenía tantas "sinapsis" digitales como el cerebro de una abeja. Pero sentado en un banco de un parque en 2015 en San Francisco, Modha dijo que estaba pensando en su trabajo hasta la fecha. Tenía la creencia de que había algo en unir lo mejor de los dispositivos de procesamiento tradicionales con la estructura de procesamiento en el cerebro, donde la memoria y el procesamiento se intercalan por todo el cerebro. La respuesta fue “computación inspirada en el cerebro, con velocidad de silicio”, según Modha.
Durante los siguientes ocho años, Modha y sus colegas se mantuvieron decididos y herméticos en su objetivo de convertir esta visión en realidad. Trabajando discretamente en Almadén, el equipo no dio ninguna conferencia ni publicó ningún artículo sobre su trabajo hasta este año. Cada persona aportó diferentes habilidades y perspectivas, pero todos colaboraron para que, en conjunto, la contribución del equipo fuera mucho mayor que la suma de las partes. Ahora, el plan es mostrar lo que NorthPole podría hacer, mientras explora cómo traducir los diseños en procesos de producción de chips más pequeños y explorar más a fondo las posibilidades arquitectónicas.
Este trabajo surgió de ideas simples (cómo podemos fabricar computadoras que funcionen como el cerebro) y, después de años de investigación fundamental, ha llegado a una respuesta. Algo que realmente sólo es posible hoy en día en un lugar como IBM Research, donde hay tiempo y espacio para explorar las grandes cuestiones de la informática y hacia dónde pueden llevarnos. "NorthPole es una débil representación del cerebro en el espejo de una oblea de silicio", dijo Modha.
