¿In medio stat virtus? ¡No siempre!

El Problema

¿Qué haces cuando el modelo no funciona como debería? Cuando el rendimiento de los modelos no cumple nuestras expectativas, normalmente dedicamos tiempo a buscar los defectos, seleccionamos y analizamos los casos en los que falló para entender qué sucedió. Luego intentamos aplicar soluciones más robustas, entrenamos, probamos y repetimos. En algunos casos lo conseguimos, pero en otros el rendimiento del modelo no mejora, por mucho que nos esforcemos.

¿Qué hacer entonces? La tentación de rendirse aumenta con cada intento fallido. Si tratar de arreglar los defectos del modelo no ha funcionado, ¿por qué no hacer lo contrario? Intenta concentrarte en los casos en los que tu modelo acierta. Selecciona esos casos, analízalos y mide el valor que contienen. No descartes tu modelo a la basura porque falle en algunos casos. En su lugar, aprovecha cuando los acierta.

La Solución

Ante todo, ¡analiza tus predicciones! Cuando el modelo tiene un rendimiento deficiente, las predicciones pueden distribuirse de dos maneras:

• Completamente al azar: sin importar el rango de puntuaciones que selecciones, el porcentaje de positivos y negativos es similar a la población general. Cuando esto ocurre, el modelo no ha aprendido nada y necesitas replantear tu estrategia de aprendizaje.
• Preciso en los extremos e impreciso en el centro: Este es el caso más frecuente. A veces el modelo logra predecir correctamente las instancias que son claramente positivas o claramente negativas, pero falla al categorizar las instancias que tienen características correlacionadas con ambas clases. Es decir, el modelo tiene dificultades para establecer un límite claro entre clases. Si este es tu caso, aquí va la solución: en lugar de definir un único límite, define dos: uno para la cola positiva y otro para la cola negativa; si la puntuación de predicción está por debajo del límite negativo o por encima del límite positivo, mantenla en el modelo; en caso contrario, añade un humano al proceso y transfiere el caso.

El análisis de los extremos debe enfocarse en dos factores principales:

• el rendimiento del modelo en los extremos: extrae la visualización del Sidekick KPI en función de la tasa de inclusión (la tasa de inclusión disminuye cuando los límites positivo y negativo se desplazan hacia los extremos)
• el tamaño de la oportunidad en los extremos: extrae la visualización del Hero KPI en función de la tasa de inclusión.

Curso, Plantillas

Data Ignite

Si los conceptos de Hero y Sidekick KPIs son nuevos para ti, consulta nuestro Curso Data Ignite.

Más información

Los Casos de Uso

La viabilidad de este enfoque depende de cómo vayas a integrar la IA en tu negocio. Una integración del tipo filtrado, donde la IA se usa para reducir la carga de trabajo que se transfiere a un humano, puede ser rentable con cualquier tasa de inclusión superior al 0%. Sin embargo, una integración del tipo sustitución, donde el objetivo es reemplazar un proceso existente con un sistema de IA, podría requerir una tasa de inclusión mayor para ser rentable. Pero, ¿cuándo podemos usar este enfoque en la práctica?

En Sanidad, la mayoría de los casos de uso de apoyo diagnóstico son del tipo filtrado. Crear un sistema de IA autónomo para el diagnóstico de enfermedades puede ser muy desafiante o incluso irreal, ya que en muchos casos las opiniones de los especialistas no son unánimes. Con el filtrado, la IA logra evaluar un pequeño segmento de pacientes, pero con alto grado de confianza en la decisión, mientras que los pacientes restantes se derivan a un médico.

Leads calientes y fríos es un tipo de caso de uso donde se identifican los leads más y menos promisorios para actuar sobre ellos o sobre el resto. Por ejemplo, si tienes certeza de que un segmento de leads va a cancelar, sin importar qué hagas, podrías evitar invertir en servicio al cliente en esos leads/clientes. Por el contrario, si tienes certeza de que un lead va a convertirse, no necesitas invertir más recursos para convencerle, o podrías ya pensar en una estrategia de venta cruzada. Como estos casos dependen de la identificación de segmentos, identificar los extremos es una estrategia útil y rentable.

Los Sistemas de Recomendación son otro tipo de caso de uso que puede beneficiarse de este enfoque. Normalmente, los modelos funcionan bien cuando tienen historial del cliente, pero suelen fallar con nuevos clientes sin historial de acciones: el cold start. Cuando esto sucede, selecciona el segmento de clientes para el que el modelo tiene buen rendimiento y comienza ahí.

Si crees que esta solución no es lo suficientemente rentable para tu negocio, no la veas como el final del camino sino como el camino mismo. Después de seleccionar el segmento donde tu IA es confiable, puedes poner la solución en producción y utilizar el flujo de caja que genera para invertir en adquisición de datos, etiquetado de datos y exploración más profunda del modelo. De esta forma, necesitarás una inversión inicial para crear una solución simple y el resto del proceso de investigación puede autofinanciarse.

Así que recuerda:

• Los modelos malos no tienen que ser modelos inútiles: explora su potencial antes de descartar todo el trabajo que has invertido en ellos
• Los Hero KPIs son indicadores mucho mejores que los Sidekick KPIs
• Si aun así no es un buen resultado, considéralo como el medio, no como el fin.