Clasificación de texto mediante LLMs

La clasificación de texto es uno de los casos de uso más comunes en Procesamiento del Lenguaje Natural, con numerosas aplicaciones prácticas, ahora más accesibles gracias a los Large Language Models. Las empresas utilizan clasificación de texto en múltiples escenarios para aumentar su eficiencia:

• Etiquetado de grandes volúmenes de datos: reducir el trabajo manual mediante un filtrado mejor, organizando automáticamente grandes volúmenes de texto.
• Mejora de sistemas de búsqueda y recomendación: la búsqueda y recomendación pueden mejorarse comprendiendo mejor las consultas de búsqueda.
• Análisis de sentimiento: entender la opinión pública y la retroalimentación de clientes determinando la emoción expresada en el texto es valioso.
• Atención al cliente: facilitar la priorización y enrutamiento de tickets al equipo correcto mediante la categorización de tickets de soporte.

Todos estos casos de uso eran resolubles en el pasado sin utilizar LLMs. Sin embargo, el surgimiento de estos modelos ha reducido la cantidad de datos de entrenamiento necesarios para obtener buenos resultados, ha aumentado el rendimiento promedio de estos casos de uso y ha disminuido el tiempo necesario para alcanzarlos.

En este artículo cubriremos varias técnicas para clasificación de texto anteriores al surgimiento de los LLMs más recientes (OpenAI, LLaMA, Bing, …) y posteriores.

eBook GRATUITO: Cómo transformar tu empresa con IA

Descarga nuestro eBook y descubre los errores más comunes al implementar proyectos de IA y cómo evitarlos.

Envíame el eBook

Obtén contenido adicional

Nombre (Obligatorio)

Correo electrónico (Obligatorio)

Al enviar este formulario acepto la política (Obligatorio)

Al enviar este formulario acepto los Términos y la Política de Privacidad.

Correo electrónico

Este campo es para validación y debe dejarse sin cambios.

¡Envíalo ahora!

Técnicas más comunes para clasificación de texto usando Large Language Models

Las técnicas más comunes para clasificación de texto son:

• Clasificación Zero-Shot: solicitar a un modelo una etiqueta directamente, sin proporcionar ejemplos. Aunque es la opción más simple y no requiere datos, el rendimiento es bastante limitado y puedes obtener un resultado que no forma parte de tu lista de clases fija (alucinación).

  • Pre-LLMs: usar modelos de código abierto como TARS
  • Post-LLMs: solicitar directamente a los LLMs generar una etiqueta, pasando una estructura final. Este enfoque es más lento que pre-LLMs, aunque mucho más preciso.

• Clasificación Few-Shot: pasas algunos ejemplos por clase, requiriendo una cantidad baja de datos anotados.

  • Pre-LLMs: usar modelos de código abierto como TARS
  • Post-LLMs: usar LLMs pasando en el contexto del prompt las muestras de cada clase. Será más preciso que el enfoque anterior.

• Extracción de características a partir de embeddings: convertimos el texto en una representación numérica (embedding) y entrenamos un modelo sobre ella, que recupera una puntuación de probabilidad que puede usarse para tomar decisiones. Sin embargo, requieres una cantidad mayor de datos anotados.

  • Pre-LLMs: usar embeddings de código abierto como GloVE.
  • Post-LLMs: usar embeddings de OpenAI, entrenados en mayores volúmenes de datos y típicamente superiores a otros métodos de embedding. Esta es una opción de pago, de la que necesitas considerar los trade-offs comparado con usar una solución de código abierto.

• Embeddings de texto enriquecido: antes de extraer los embeddings, intentamos descubrir más información sobre el texto, "enriqueciéndolo".

  • Pre-LLMs: no se usa frecuentemente.

  • Post-LLMs: solicitar al LLM que te proporcione más información sobre el texto: por ejemplo, si es una búsqueda de Google, los LLMs pueden darte más información sobre lo que esa búsqueda abarca. Es un enfoque más lento que Pre-LLMs, pero es la técnica con los resultados más altos que hemos visto hasta ahora.

"Asume que eres una Enciclopedia y tienes que definir los conceptos que te proporciono. Tu explicación debe ser sucinta (un par de párrafos), como la sección de resumen de un artículo de Wikipedia hablando sobre el concepto. (…)"

A continuación se presenta un gráfico comparativo que resume los trade-offs de los métodos en términos de datos requeridos, velocidad y precisión.

Conclusión

Te hemos mostrado varias formas de realizar clasificación de texto usando Large Language Models. Los LLMs te permiten alcanzar rendimiento aceptable en pocas horas de trabajo y son bastante buenos para un benchmark inicial. Sin embargo, no olvides los métodos más antiguos, que pueden ser una alternativa cuando deseas resultados más rápidos o cuando pagar por solicitudes de LLMs no es viable a la escala de tu caso de uso.

¿Quieres revolucionar la forma en que haces clasificación de texto? Conoce más contactando con nosotros.

¿Quieres profundizar en esta idea?

Agenda una reunión con Rafael Cavalheiro

Conoce a Rafael Más información