Creación de una base de operaciones para el futuro de la inteligencia artificial generativa

A medida que la inteligencia artificial generativa (GenAI) sigue atrayendo la atención del público, resulta más evidente que nunca que el ritmo de la innovación aumenta con fuerza. La innovación no solo se ve en las mejoras revolucionarias que se realizan en los modelos de este tipo de inteligencia, sino también en las tecnologías de soporte que los hacen relevantes para una empresa en particular. Ahora, para alimentar a los modelos de lenguaje de gran tamaño (LLM) con los datos de las empresas, se prefiere utilizar la generación aumentada por recuperación (RAG) antes que el ajuste.

Dado que la inteligencia artificial generativa cambia con tanta rapidez, muchas empresas sienten que deben tomar un gran riesgo y elegir a un proveedor de plataformas de inteligencia artificial como proveedor principal y apostar por una sola nube principal para que su plataforma de inteligencia artificial navegue por las aguas desconocidas de la GenAI. Muchas de estas empresas buscan una base fundamental uniforme y flexible para la inteligencia artificial generativa y la predictiva que proporcione las funciones básicas para diseñar y mejorar los modelos, incorporarlos a las aplicaciones que utilizan la inteligencia artificial y gestionar y supervisar los modelos. Con este enfoque, las empresas pueden reducir el riesgo de depender de un proveedor al adoptar una plataforma de inteligencia artificial que sea lo suficientemente flexible para ejecutarse en las instalaciones, en diferentes plataformas de nube o en el extremo de la red. De esta manera, las empresas pueden cambiar y adaptarse a medida que evoluciona la inteligencia artificial generativa. 

Antes de lanzar Red Hat OpenShift AI como servicio de nube totalmente gestionado, nuestros primeros clientes de la versión beta tenían un gran interés en contar con una versión local de la oferta. En la actualidad, más del 80 % de los clientes de Red Hat OpenShift AI adoptan la versión autogestionada para usarla en las instalaciones. Red Hat OpenShift AI, que actúa como complemento de Red Hat OpenShift, la plataforma de aplicaciones líder que se ejecuta en las instalaciones, en las principales nubes públicas e, incluso, en el extremo de la red, contiene muchas de las funciones fundamentales de esta plataforma. Si los usuarios consideran la inteligencia artificial como una extensión del entorno de las aplicaciones, podrán mejorar la eficiencia tanto de los desarrolladores como de los analistas de datos. 

Resumen funcional de Red Hat OpenShift AI

Resumamos algunas de las funciones de Red Hat OpenShift AI como plataforma única tanto para la inteligencia artificial generativa como para la predictiva.

Entrenamiento de modelos: proyectos

Red Hat OpenShift AI proporciona varias imágenes del entorno de trabajo y la capacidad de agregar imágenes personalizadas a través de una interfaz de usuario administrador. La interfaz de usuario (UI) del proyecto permite a los usuarios organizar los archivos de desarrollo de modelos, las conexiones de datos y los demás artefactos que se necesitan para un proyecto determinado. Los archivos de desarrollo de modelos se pueden crear a partir de imágenes de los entornos de trabajo listas para usar o personalizadas que brindan acceso a bibliotecas, paquetes y herramientas populares, como PyTorch, RStudio y los notebooks de Jupyter. Los proyectos se pueden compartir con permisos específicos para permitir la colaboración con colegas. Además, los proyectos permiten que los usuarios configuren el almacenamiento en clústeres para guardar los datos del proyecto y brindan a los analistas de datos, los desarrolladores y otros usuarios que contribuyen al ciclo de vida de la inteligencia artificial acceso a funciones como los canales, la distribución y la supervisión de los modelos.

Entrenamiento de modelos: cargas de trabajo distribuidas

El entrenamiento de modelos distribuidos es un método que aprovecha varios nodos de clúster simultáneamente para entrenar modelos más rápido y con más eficiencia. Este enfoque se puede utilizar tanto para el entrenamiento de la inteligencia artificial predictiva como para el de la generativa, así como para los casos prácticos de ajuste, lo que permite realizar tareas que, de otro modo, no serían factibles desde el punto de vista informático.

La stack de cargas de trabajo distribuidas integrada en Red Hat OpenShift AI incluye tecnologías de capacitación y validación, así como tecnologías de ajuste e inferencia. CodeFlare proporciona un marco fácil de usar para la stack de entrenamiento que simplifica la organización y la supervisión del trabajo. Se integra en tecnologías como Ray para las cargas de trabajo distribuidas y Kueue para la programación y la creación de colas de trabajos.

La función de cargas de trabajo distribuidas ofrece una integración perfecta para optimizar la utilización de los nodos con el soporte avanzado del acelerador. Los trabajos se pueden priorizar y distribuir, tanto de forma interactiva como por lotes. Las cargas de trabajo distribuidas también se pueden utilizar desde los canales de análisis de datos para aprovechar las funciones informáticas mejoradas.

GPU y aceleradores

Una de las funciones más valiosas de Red Hat OpenShift AI es que el acceso a la GPU es de autoservicio. El personal de operaciones de TI puede definir su entorno de recursos de GPU fácilmente y con anticipación, tanto en las instalaciones como en la nube, de modo que los analistas de datos y los desarrolladores de aplicaciones seleccionen con facilidad las configuraciones para las tareas de sus proyectos. El producto es compatible con una variedad de aceleradores, entre los que se incluyen las GPU NVIDIA, los dispositivos Intel Habana Gaudi y las GPU AMD. La función de los perfiles del acelerador permite que los administradores configuren diferentes tipos de aceleradores según lo apropiados que sean para la carga de trabajo. Los usuarios pueden seleccionar aceleradores en Red Hat OpenShift AI desde las interfaces de usuario de desarrollo y de distribución de modelos.

Canales de análisis de datos

El elemento de canales de análisis de datos es una herramienta de canalización diseñada para el entrenamiento con machine learning (aprendizaje automático) que se basa en los canales de KubeFlow y permite que los analistas de datos automaticen los pasos para distribuir y probar los modelos en el desarrollo y la producción. Se puede usar un canal de muestra para recopilar datos, procesarlos, entrenar el modelo, descargar el modelo actual, compararlo con el modelo nuevo y, si este funciona mejor, insertarlo en los entornos de desarrollo y prueba. Como ocurre con todos los elementos de los proyectos de inteligencia artificial, se puede hacer un seguimiento de los canales, controlarlos y gestionarlos. Además, se proporciona un editor visual para crear y automatizar estos canales a través de una interfaz con la función de arrastrar y soltar. Los canales de análisis de datos también pueden ejecutar cargas de trabajo distribuidas.

Distribución de los modelos

La interfaz de usuario de distribución de modelos se integra directamente en el panel de Red Hat OpenShift AI y en la interfaz de usuario de los proyectos para ofrecer modelos de proveedores y marcos como Hugging Face, ONNX, PyTorch y TensorFlow, entre otros. Los usuarios pueden seleccionar una plataforma de distribución de modelos basada en KServe o ModelMesh, elegir entre los distintos servidores de modelos y tiempos de ejecución que se incluyen con Red Hat OpenShift AI o integrar su motor de inferencia o tiempos de ejecución personalizados, como NVIDIA Triton. Los recursos del clúster, como las CPU y las GPU, se pueden ajustar según lo requiera la carga de trabajo. La stack mejorada de distribución de modelos utiliza tecnologías de open source, como KServe, Caikit, vLLM y TGIS, para facilitar la distribución de los modelos.

Supervisión de los modelos

El panel de la interfaz de usuario de supervisión de modelos permite que los usuarios que se dedican a las operaciones puedan supervisarlas y observar los indicadores de rendimiento de los servidores de los modelos y los modelos implementados. Entre lo que puede observarse con la supervisión de modelos, se incluyen indicadores tales como la cantidad de solicitudes de inferencia exitosas y fallidas, el tiempo promedio de respuesta a inferencias y la utilización específica de recursos informáticos. Estos datos pueden ayudar a los usuarios a tomar las medidas adecuadas, como agregar recursos informáticos si la cantidad de solicitudes y el tiempo promedio de respuesta aumentan con el tiempo.

Integraciones de partners tecnológicos

Red Hat, además de haber realizado integraciones directas entre Red Hat OpenShift AI y proveedores como Starburst, Anaconda, Pachyderm, NVIDIA e Intel, colabora con otras empresas, como AMD, Elastic, Run:ai y Stability AI, con el fin de ofrecer integraciones ampliadas para una variedad de casos prácticos de inteligencia artificial generativa.

En cuanto a la plataforma de hardware, Red Hat anunció que se optimizarían las integraciones y el soporte de los microservicios Intel® Enterprise AI y NVIDIA NIM en Red Hat OpenShift AI. Dell introdujo mejoras en Dell APEX Cloud Platform for Red Hat OpenShift para abordar casos prácticos de inteligencia artificial con Red Hat OpenShift AI. Además, Cisco creó un diseño validado para MLOps en Red Hat OpenShift AI.

Red Hat OpenShift AI es un elemento fundamental de IBM watsonx.ai, ya que proporciona las herramientas y los servicios esenciales de inteligencia artificial para las cargas de trabajo de GenAI. Watsonx.ai ofrece un estudio empresarial para que los desarrolladores de inteligencia artificial puedan obtener aplicaciones de GenAI casi sin tener que escribir código, con flujos de trabajo fáciles de usar para el desarrollo de modelos y acceso a una biblioteca de modelos base de IBM y modelos open source seleccionados. Red Hat OpenShift y Red Hat OpenShift AI son requisitos previos técnicos integrados para el software watsonx.ai.

Entornos desconectados

Debido a los aspectos de seguridad y cumplimiento normativo que se deben considerar, muchos clientes de Red Hat OpenShift AI requieren implementaciones desconectadas. Las empresas, que abarcan desde el sector gubernamental hasta el de servicios financieros, salud y fabricación, necesitan soporte para las instalaciones aisladas. Los clústeres desconectados suelen estar en una red restringida, a menudo detrás de un firewall. Esto hace que las implementaciones sean mucho más difíciles de llevar a cabo, ya que necesitan admitir el uso de registros privados para duplicar las imágenes.

Extremo de la red

Una de las pruebas más importantes de una plataforma de inteligencia artificial es la capacidad de admitir entornos en el extremo de la red. La capacidad de Red Hat OpenShift AI para distribuir modelos en el extremo de la red amplía la implementación de los modelos de inteligencia artificial a las ubicaciones remotas de manera segura, uniforme y según se requiera.  Con la distribución de modelos en el extremo de la red, se simplifica su proceso de implementación allí, se impulsa la uniformidad en todos los entornos y se protege el proceso de inferencia. Esta función solo está disponible para la versión de Red Hat OpenShift de un solo nodo.

Pruebe Red Hat OpenShift AI en su propio clúster aquí y obtenga más información sobre nuestros patrones, demostraciones y recetas referidos a la inteligencia artificial generativa y la predictiva aquí y sobre la forma de diseñar una base operativa para la inteligencia artificial generativa aquí.