La recuperación de generación aumentada (RAG) se ha vuelto esencial para los líderes de TI y las empresas que buscan implementar IA generativa. Al utilizar un modelo de lenguaje grande (LLM) y RAG, las empresas pueden basar un LLM en datos empresariales, mejorando la precisión de los resultados.
¿Pero cómo funciona RAG? ¿Cuáles son los casos de uso de RAG? ¿Y existen alternativas reales?
TechRepublic se sentó con Davor Bonaci, director de tecnología y vicepresidente ejecutivo de la empresa de bases de datos e inteligencia artificial DataStax, para descubrir cómo se está aprovechando RAG en el mercado durante el lanzamiento de la IA generativa en 2024 y cuál considera que es el siguiente paso de la tecnología en 2025.
¿Qué es la recuperación de generación aumentada?
RAG es una técnica que mejora la relevancia y precisión de los resultados del modelo LLM de IA generativa al agregar contexto extendido o aumentado de una empresa. Permite a los líderes de TI utilizar LLM de IA generativa para casos de uso empresarial.
Bonaci explicó que si bien los LLM “básicamente han sido capacitados con toda la información disponible en Internet”, hasta una fecha límite determinada, dependiendo del modelo, sus fortalezas lingüísticas y de conocimientos generales se ven compensadas por problemas importantes y bien conocidos. como las alucinaciones de IA.
VER: Zetaris explica por qué los lagos de datos federados son el futuro para impulsar la IA
“Si desea utilizarlo en un entorno empresarial, debes basarlo en datos empresariales. De lo contrario, sufres muchas alucinaciones”, dijo. “Con RAG, en lugar de simplemente pedirle al LLM que produzca algo, usted dice: ‘Quiero que produzca algo, pero considere estas cosas que sé que son precisas'”.
¿Cómo funciona RAG en un entorno empresarial?
RAG proporciona una referencia LLM a un conjunto de información empresarial, como una base de conocimientos, una base de datos o un conjunto de documentos. Por ejemplo, el producto principal de DataStax es su base de datos vectorial, Astra DB, que las empresas están utilizando para respaldar la creación de aplicaciones de IA en las empresas.
En la práctica, una consulta ingresada por un usuario pasaría por un paso de recuperación (una búsqueda vectorial) que identifica los documentos o piezas de información más relevantes de una fuente de conocimiento predefinida. Esto podría incluir documentos empresariales, artículos académicos o preguntas frecuentes.
Luego, la información recuperada se introduce en el modelo generativo como contexto adicional junto con la consulta original, lo que permite que el modelo base su respuesta en conocimientos del mundo real, actualizados o específicos de un dominio. Esta conexión a tierra reduce el riesgo de sufrir alucinaciones que podrían ser un factor decisivo para una empresa.
¿Cuánto mejora RAG el resultado de los modelos de IA generativa?
La diferencia entre utilizar IA generativa con y sin RAG es “el día y la noche”, dijo Bonaci. Para una empresa, la propensión de un LLM a alucinar esencialmente significa que son “inutilizables” o sólo para casos de uso muy limitados. La técnica RAG es lo que abre la puerta a la IA generativa para las empresas.
“Al final del día, ellos [LLMs] tengo conocimiento al ver cosas en Internet”, explicó Bonaci. “Pero si haces una pregunta que está un poco fuera de lugar, te darán una respuesta muy segura que puede… ser completamente incorrecta”.
VER: La IA generativa se ha convertido en una fuente de errores costosos para las empresas
Bonaci señaló que las técnicas RAG pueden aumentar la precisión de los resultados del LLM a más del 90% para tareas que no son de razonamiento, dependiendo de los modelos y los puntos de referencia utilizados. Para tareas de razonamiento complejas, es más probable que obtengan entre un 70 y un 80 % de precisión utilizando técnicas RAG.
¿Cuáles son algunos casos de uso de RAG?
RAG se utiliza en varios casos de uso típicos de IA generativa para organizaciones, que incluyen:
Automatización
Al utilizar LLM mejorados con RAG, las empresas pueden automatizar tareas repetibles. Un caso de uso común para la automatización es la atención al cliente, donde se puede habilitar al sistema para buscar documentación, proporcionar respuestas y realizar acciones como cancelar un boleto o realizar una compra.
Personalización
Se puede aprovechar RAG para sintetizar y resumir grandes cantidades de información. Bonaci puso el ejemplo de las opiniones de los clientes, que se pueden resumir de forma personalizada y relevante para el contexto del usuario, como su ubicación, compras anteriores o preferencias de viaje.
Buscar
RAG se puede aplicar para mejorar los resultados de búsqueda en una empresa, haciéndolos más relevantes y específicos del contexto. Bonaci señaló cómo RAG ayuda a los usuarios del servicio de streaming a encontrar películas o contenido relevante para su ubicación o intereses, incluso si los términos de búsqueda no coinciden exactamente con el contenido disponible.
¿Cómo se pueden utilizar los gráficos de conocimiento con RAG?
El uso de gráficos de conocimiento con RAG es una “versión avanzada” del RAG básico. Bonaci explicó que si bien una búsqueda vectorial en RAG básico identifica similitudes en una base de datos vectorial (lo que la hace adecuada para el conocimiento general y el lenguaje humano natural), tiene limitaciones para ciertos casos de uso empresarial.
En un escenario en el que una compañía de telefonía móvil ofrece planes de varios niveles con diferentes inclusiones, una consulta de un cliente (por ejemplo, si se incluye el roaming internacional) requeriría que la IA decidiera. Un gráfico de conocimiento puede ayudar a organizar la información para ayudarla a descubrir qué se aplica.
VER: La madurez digital es clave para el éxito de la IA para la ciberseguridad
“El problema es que el contenido de esos documentos del plan entra en conflicto entre sí”, dijo Bonaci. “Entonces el sistema no sabe cuál es la verdad. Por lo tanto, podría utilizar un gráfico de conocimiento para ayudarle a organizar y relacionar la información correctamente, para ayudarle a resolver estos conflictos”.
¿Existen alternativas a RAG para empresas?
La principal alternativa a RAG es perfeccionar un modelo de IA generativa. Con el ajuste fino, en lugar de utilizar datos empresariales como indicador, los datos se introducen en el modelo mismo para crear un conjunto de datos influenciado para preparar el modelo para su uso de una manera que pueda aprovechar esos datos empresariales.
Bonaci dijo que, hasta la fecha, RAG ha sido el método ampliamente aceptado en la industria como la forma más efectiva de hacer que la IA generativa sea relevante para una empresa.
“Vemos gente ajustando modelos, pero esto sólo resuelve un pequeño nicho de problemas, por lo que no ha sido ampliamente aceptado como solución”, dijo.
