Red Hat compra Neural Magic para lograr IA de alto rendimiento

Noviembre 2024.- El proveedor mundial de soluciones Open Source, Red Hat Inc., anunció que ha firmado un acuerdo definitivo para adquirir Neural Magic, una empresa pionera en software y algoritmos que aceleran las cargas de trabajo de inferencia de la IA generativa (gen AI). La experiencia de Neural Magic en ingeniería de rendimiento de inferencia y el compromiso con el código abierto se identifican con la visión de Red Hat de lograr cargas de trabajo de IA de alto rendimiento que se correspondan directamente con casos de uso y datos específicos del cliente en cualquier lugar de la nube híbrida.

Si bien la promesa de la IA generativa domina gran parte del panorama tecnológico actual, el volumen de los modelos de lenguaje de gran tamaño (LLM) que sustentan estos sistemas sigue en aumento. Como resultado, crear servicios de LLM rentables y confiables requiere una gran potencia informática, recursos energéticos y habilidades operativas especializadas. Para la mayoría de las empresas, estos problemas hacen que los beneficios de una IA personalizada, con mayor enfoque en la seguridad y lista para implementar, queden efectivamente fuera de su alcance.

“Las cargas de trabajo de la IA deben poder ejecutarse dondequiera que residan los datos de los clientes en la nube híbrida. Esto hace que las plataformas y herramientas abiertas, flexibles y estandarizadas sean una necesidad, ya que permiten que las organizaciones seleccionen los entornos, los recursos y las arquitecturas que mejor se adecuen a sus necesidades operativas y de datos particulares. Estamos encantados de complementar nuestro portafolio de IA orientado a la nube híbrida con la revolucionaria innovación en IA de Neural Magic, que refuerza nuestro objetivo de ser no solo el ‘Red Hat’ del open source, sino también el ‘Red Hat’ de la IA», indicó Matt Hicks, presidente y CEO, Red Hat.

El objetivo de Red Hat es abordar estos problemas y hacer que la IA generativa sea más accesible para más organizaciones a través de la innovación abierta de vLLM, desarrollada por UC Berkeley. vLLM es un proyecto open source impulsado por la comunidad para el servicio de modelos abiertos (la forma en que los modelos de IA generativa infieren y resuelven problemas), que admite todas las familias de modelos clave, la investigación avanzada de aceleración de inferencia y distintos back-ends de hardware, que incluyen GPU de AMD, AWS Neuron, TPU de Google, Intel Gaudi, GPU de NVIDIA y CPU x86. 

Red Hat + Neural Magic: el futuro de la IA generativa lista para la nube híbrida

Neural Magic surgió del MIT en 2018 con el objetivo de crear software de inferencia de alto rendimiento para el deep learning o aprendizaje profundo. Con la tecnología y la experiencia en ingeniería de rendimiento de Neural Magic, Red Hat pretende acelerar su visión del futuro de la IA, impulsada por el portfolio de tecnologías de Red Hat AI.  Red Hat aprovecha la innovación open source, diseñada para superar los desafíos de la IA empresarial a gran escala, para democratizar aún más el acceso al poder transformador de la IA a través de:

●      Modelos con licencia open source, desde la escala de parámetros 1 B hasta 405 B, que se pueden ejecutar en cualquier lugar de la nube híbrida: en centros de datos de las empresas, en múltiples nubes y en el edge;

●      Capacidades de ajuste fino que permiten a las organizaciones personalizar más fácilmente los LLM según sus datos privados y casos de uso con una postura de seguridad más firme;

●      Experiencia en ingeniería de rendimiento de inferencia, que da como resultado una mayor eficiencia operativa y de infraestructura; y

●      Un partner, un ecosistema open source y estructuras de soporte que brindan al cliente mayor libertad de elección, desde LLM y herramientas hasta hardware de servidor certificado y arquitecturas de chips subyacentes.