Nem sempre a virtude reside no meio!

O Problema

O que fazer quando o modelo apresenta um desempenho inadequado? Quando o desempenho dos modelos não corresponde às nossas expectativas, costumamos investir tempo na busca de falhas, selecionando e analisando os casos em que falhou para compreender o porquê. Depois, tentamos aplicar soluções mais robustas, treinar, testar e repetir. Em alguns casos, conseguimos melhorias mas noutros, o desempenho do modelo não aumenta, por muito que nos esforcemos.

E agora? A tentação de desistir intensifica-se com cada tentativa falhada. Uma vez que tentar corrigir as deficiências do modelo não conduziu ao sucesso, que tal fazer o oposto? Concentrar-se nos casos em que o seu modelo funciona bem. Selecioná-los, analisá-los e medir o valor que contêm. Não descarte o seu modelo apenas porque falha nalguns casos. Em vez disso, aproveite quando o modelo acerta!

A Solução

Em primeiro lugar, analise as suas previsões! Quando o modelo apresenta desempenho inadequado, as previsões podem distribuir-se de duas formas:

• Completamente aleatórias: independentemente da amplitude de scores que selecionar, a percentagem de casos positivos e negativos é semelhante à da população global. Quando isto acontece, o modelo não aprendeu nada e precisa repensar a estratégia de aprendizagem.
• Preciso nas extremidades e aleatório no centro: Este é o caso mais frequente. Por vezes, o modelo consegue prever corretamente as instâncias que são fortemente positivas ou fortemente negativas, mas falha na categorização de instâncias cujas características estão correlacionadas com ambas as classes. Ou seja, o modelo tem dificuldade em encontrar uma boa fronteira entre classes. Se for esse o caso, eis a solução: em vez de definir uma única fronteira, defina 2, uma para a extremidade positiva e outra para a negativa; se o score da previsão estiver abaixo da fronteira negativa ou acima da positiva, confie no modelo, caso contrário, envolva um operador humano.

A análise das extremidades deve focar-se em dois fatores principais:

• o desempenho do modelo nas extremidades – extraia a visualização do Sidekick KPI em função da taxa de inclusão (a taxa de inclusão diminui quando as fronteiras positiva e negativa são afastadas para os extremos)
• o tamanho da oportunidade nas extremidades – extraia a visualização do Hero KPI em função da taxa de inclusão.

Curso, Templates

Data Ignite

Se os conceitos Hero e Sidekick KPIs lhe são novos, consulte o nosso Data Ignite Course.

Saiba Mais

Os Casos de Uso

A viabilidade desta abordagem depende da forma como vai integrar IA no seu negócio. Uma integração do tipo filtering, em que a IA é utilizada para reduzir o volume de trabalho dirigido a um operador humano, qualquer taxa de inclusão superior a 0% pode ser lucrativa. No entanto, uma integração do tipo replacing, em que o objetivo é substituir um processo existente por um sistema de IA, pode exigir uma taxa de inclusão mais elevada para se tornar lucrativa. Mas, quando é que podemos usar isto na prática?

Na Saúde, a maioria dos casos de uso de suporte ao diagnóstico são do tipo filtering. Criar um sistema de IA autónomo para diagnóstico de doenças pode ser muito desafiante ou até irrealista uma vez que em muitos casos as opiniões de especialistas não são unânimes. Com filtering, a IA consegue analisar um pequeno segmento de pacientes com elevada confiança na decisão, enquanto os restantes são encaminhados para um médico.

Leads quentes e frios são um tipo de caso de uso em que os leads mais quentes e mais frios são identificados para ações posteriores. Por exemplo, se está convencido de que um segmento de leads vai fazer churn, independentemente do que faça, pode evitar investir em atendimento ao cliente nesse segmento. Por outro lado, se está convencido de que um lead vai converter, não precisa investir mais recursos para o convencer, ou pode já pensar numa estratégia de venda cruzada. Uma vez que estes casos de uso dependem da identificação de segmentos, identificar as extremidades é uma estratégia útil e lucrativa.

Sistemas de Recomendação são outro tipo de caso de uso que pode beneficiar desta abordagem. Normalmente, os modelos funcionam bem quando têm histórico do cliente, mas falham com clientes novos, sem histórico de ações – cold start. Quando isto acontece, selecione o segmento de clientes para o qual o modelo tem bom desempenho e comece por aí.

Se pensa que esta solução não é suficientemente lucrativa para o seu negócio, não a veja como o fim da estrada mas como a própria estrada. Depois de selecionar o segmento em que a sua IA é confiável, coloque a solução em produção e use o fluxo de caixa que gera para investir em aquisição de dados, anotação de dados e exploração mais profunda do modelo. Desta forma, precisa de um investimento inicial para criar uma solução simples e o processo de investigação restante pode ser suportado por si próprio.

Então, tenha em mente:

• Modelos com fraco desempenho não têm de ser inúteis – explore o seu potencial antes de descartar todo o trabalho que investiu
• Hero KPIs são indicadores muito melhores do que Sidekick KPIs
• Se ainda assim não for um bom resultado, veja-o como um meio.