Um Guia sobre Técnicas de Redução de Dimensionalidade

A redução de dimensionalidade serve para dar sentido a conjuntos de dados massivos e complexos, diminuindo o número de características, ou variáveis, com que trabalhamos. O objetivo é comprimir os dados de um espaço de alta dimensão para um de menor dimensão sem perder o que realmente importa.

Pense nisso como uma forma inteligente de combater a "maldição da dimensionalidade", um problema clássico em que ter demasiadas características torna os modelos de machine learning piores.

Porque é que os seus dados têm demasiadas dimensões

Já sentiu que está a afogar-se em dados? Na era do big data, é um problema comum. Não é invulgar que os conjuntos de dados tenham centenas ou mesmo milhares de características por cada ponto de dados, criando uma confusão enorme e muito difícil de trabalhar.

Mas o que torna exatamente "demasiadas dimensões" numa dor de cabeça tão grande?

Vamos usar uma analogia. Imagine que precisa de encontrar alguém numa aldeia pequena com apenas uma rua principal. Fácil, certo? É só seguir o caminho. Agora imagine tentar encontrar essa mesma pessoa numa cidade caótica e enorme, com milhares de ruas que se cruzam, becos escondidos e arranha-céus. A tarefa parece de repente impossível. É isso, em traços gerais, que é a maldição da dimensionalidade.

A maldição da dimensionalidade explicada

À medida que se vão adicionando mais dimensões (características) aos dados, o "espaço" que estes ocupam cresce exponencialmente. Rapidamente, os pontos de dados tornam-se extremamente dispersos, estão tão afastados uns dos outros que os algoritmos de machine learning têm dificuldade em encontrar padrões com significado.

De repente, a distância entre quaisquer dois pontos neste espaço enorme começa a parecer praticamente igual, o que pode desequilibrar completamente os algoritmos que dependem de cálculos de distância.

Esta dispersão dos dados cria problemas sérios:

• Treino de modelos mais lento: Mais características significam mais processamento. Os algoritmos demoram muito mais a correr, o que aumenta os custos computacionais e alonga os prazos dos projetos.

• Maior risco de overfitting: Quando há mais características do que observações, é perigosamente fácil que um modelo comece a "memorizar" o ruído dos dados de treino em vez de aprender o sinal real. O resultado? Um modelo que parece brilhante no conjunto de treino mas que falha completamente com dados novos do mundo real.

• Padrões obscurecidos: Os padrões verdadeiramente importantes podem ficar enterrados sob uma montanha de características irrelevantes ou redundantes. É como tentar ouvir um sussurro num estádio lotado, a história real perde-se no meio de todo o ruído.

O problema central é que o espaço de alta dimensão é simplesmente estranho. O volume é tão vasto que os nossos dados se tornam como algumas estrelas solitárias num universo vazio, tornando difícil mapear as constelações que têm valor real.

Os estatísticos debatem-se com este problema há mais de um século. O campo começou verdadeiramente em 1901, quando Karl Pearson introduziu a Análise de Componentes Principais (PCA), uma técnica que estabeleceu as bases de tudo o que usamos hoje. Se tiver curiosidade, pode explorar uma breve história da redução de dimensionalidade para perceber como estes métodos evoluíram.

Ao reduzir o número de dimensões, conseguimos filtrar o ruído, tornar os modelos mais rápidos e deixar os padrões escondidos nos dados finalmente emergir. Trata-se de transformar aquela cidade caótica numa aldeia gerível para conseguirmos encontrar o que procuramos. É precisamente por isso que explorar novas oportunidades em áreas como a IA e a similarity learning é tão crucial para fazer avançar estas técnicas.

Escolher a estratégia de redução certa

Já está convencido do porquê da redução de dimensionalidade. O conjunto de dados enorme e confuso é um problema, e sabe que precisa de o simplificar. Mas como?

No fundo, todos os algoritmos sofisticados resumem-se a duas filosofias centrais: seleção de características e extração de características. Fazer bem esta primeira escolha é metade do trabalho.

Usemos uma analogia. Imagine que tem de fazer as malas para uma grande viagem, mas a mala é demasiado pequena. Tem dois movimentos básicos.

O primeiro é deitar todas as roupas na cama e escolher apenas o essencial. Leva as calças preferidas, um casaco quente, umas camisas versáteis, e deixa o resto. Isto é seleção de características. Fica com um conjunto das suas características originais e perfeitamente compreensíveis, descartando as restantes.

O segundo movimento é um pouco mais criativo. Decide levar todas as roupas e compactá-las em sacos de vácuo. Retira todo o ar e de repente a pilha enorme de roupa transforma-se em poucos blocos densos e compactos. A essência de toda a roupa continua lá, mas num formato novo e comprimido. Isto é extração de características. Estão a ser criadas novas características (frequentemente chamadas componentes ou embeddings) que resultam de uma combinação das originais.

Este diagrama dá uma boa imagem visual de como funciona a extração de características. Trata-se de encontrar uma perspetiva nova e mais simples para ver os dados.

Veja como esses pontos de dados dispersos são projetados em dois novos eixos, PC1 e PC2. Os padrões mais importantes dos dados ficam capturados, mas num espaço 2D muito mais simples.

Seleção de características vs. extração de características: resumo

Então, qual é melhor? Nenhuma. A escolha "certa" depende inteiramente do que se pretende alcançar. Está a construir um modelo que precisa de ser explicado ao seu chefe, ou precisa apenas das previsões mais precisas possível, sem perguntas?

A decisão entre seleção e extração de características é, na prática, uma troca entre clareza e poder. A seleção mantém os dados fáceis de compreender, enquanto a extração tende a retirar mais potencial preditivo dos dados, mas as novas características podem ser uma caixa negra.

Esta lista destaca as diferenças principais para ajudar a perceber qual o caminho que faz sentido para o seu projeto.

• Ideia central: Seleção de características: escolhe um subconjunto das características originais.; Extração de características: cria características completamente novas a partir das antigas.

• Interpretabilidade: Seleção de características: Alta. As características resultantes são as mesmas com que se começou, pelo que são fáceis de explicar.; Extração de características: Baixa. As novas características são combinações matemáticas abstratas, difíceis de interpretar.

• Perda de informação: Seleção de características: Pode ser significativa se uma característica importante for descartada por engano.; Extração de características: Geralmente mais baixa, uma vez que sintetiza informação de todas as características originais nas novas.

• Indicada para: Seleção de características: Modelos em que é necessário explicar o porquê de uma decisão, como em risco de crédito ou diagnóstico médico.; Extração de características: Tarefas em que a precisão preditiva bruta é o que manda, como reconhecimento de imagem ou deteção de padrões complexos.

• Métodos comuns: Seleção de características: Filtros de variância, mapas de calor de correlação, importância de características por Random Forest.; Extração de características: Análise de Componentes Principais (PCA), Autoencoders, t-SNE, UMAP.

Em última análise, esta escolha define tudo o que se segue. A seleção mantém as coisas simples e interpretáveis, enquanto a extração é a opção preferida para extrair o máximo desempenho de um modelo.

Navegar no panorama técnico

Depois de escolher uma direção, há uma grande variedade de algoritmos específicos. Uma forma útil de pensar neles é se são "convexos" ou "não convexos". Soa um pouco técnico, mas a distinção é muito prática.

Uma revisão abrangente explica que os métodos convexos, como o PCA, são fiáveis e eficientes, garantem que se encontra a solução matemática única e melhor. Os métodos não convexos, como Autoencoders ou t-SNE, são incrivelmente poderosos para mapear dados complexos e confusos, mas por vezes ficam presos numa solução "suficientemente boa" em vez da absolutamente melhor.

Para fazer uma escolha acertada, volte sempre a estas três perguntas:

• Qual é o meu objetivo final? Estou só a tentar criar uma visualização interessante, limpar dados ruidosos, ou melhorar a velocidade e precisão do meu modelo?

• Quão importante é conseguir explicar os resultados? Vou precisar de justificar a lógica do modelo a uma audiência não técnica?

• Que tipo de relações existem nos meus dados? São maioritariamente simples e lineares, ou são complexas e não lineares?

Pensar nestes pontos dá um mapa claro para escolher a ferramenta certa para cada trabalho. Agora, vamos entrar nos detalhes das técnicas mais populares disponíveis.

Dominar técnicas lineares como o PCA

Quando começa a explorar a redução de dimensionalidade, vai inevitavelmente cruzar-se com o clássico indiscutível: a Análise de Componentes Principais (PCA). É a ferramenta fundamental e preferida de quase todos os cientistas de dados, e por boas razões, é direta, poderosa, e resolve uma enorme variedade de problemas.

Esqueça por um momento a álgebra linear intimidante. Na sua essência, o PCA é apenas uma forma inteligente de encontrar as "direções" mais importantes nos dados. Procura os caminhos no conjunto de dados onde a informação está mais dispersa, ou seja, onde a variância é mais alta.

A ideia central por trás do PCA

Imagine os seus dados como uma nuvem tridimensional de pontos, como um enxame de abelhas congelado no ar. Agora imagine que tem de representar esta nuvem 3D numa folha de papel plana e 2D. Podia simplesmente achatar tudo de cima para baixo, mas perderia muito da forma e estrutura originais da nuvem.

O PCA oferece uma abordagem muito mais inteligente. Roda cuidadosamente essa nuvem para encontrar o melhor ângulo possível antes de a achatar. Identifica a direção mais longa da nuvem, esta passa a ser o Componente Principal 1 (PC1), e depois encontra a próxima direção mais longa, perfeitamente perpendicular à primeira, que passa a ser o PC2.

Ao projetar os dados nestes novos eixos, mantém-se o máximo possível da forma original, a variância. Este processo transforma as características originais, que frequentemente estão correlacionadas, num novo conjunto de características completamente não correlacionadas chamadas componentes principais. A melhor parte? Estes novos componentes estão ordenados por importância. O PC1 captura sempre mais variância, o PC2 captura a seguinte, e assim por diante, permitindo descartar os componentes posteriores e menos importantes com perda mínima de informação.

Colocar o PCA em prática

Onde brilha mesmo o PCA? É um elemento-chave no pré-processamento de dados. Ao reduzir o número de características, pode acelerar drasticamente o treino de modelos e diminuir o risco de overfitting, quando um modelo começa a aprender o ruído em vez do sinal real. Dados de alta qualidade são a base de qualquer modelo sólido, e o PCA é uma ferramenta fundamental para os melhorar. Para uma análise mais aprofundada, pode saber mais sobre a estimação objetiva da qualidade dos dados no nosso guia detalhado.

Alguns contextos comuns onde o PCA é utilizado:

• Compressão de imagem: Ao tratar os valores de pixel como características, o PCA pode reduzir o tamanho das imagens mantendo a informação visual mais importante.

• Redução de ruído: Em conjuntos de dados ruidosos, o ruído é frequentemente capturado pelos componentes principais posteriores. Ao simplesmente descartá-los, consegue-se limpar os dados de forma eficaz.

• Visualização de dados de alta dimensão: Embora não seja tão sofisticado como o t-SNE para revelar padrões complexos, o PCA é excelente para obter uma visão rápida em 2D ou 3D da estrutura principal dos dados.

De facto, o PCA continua a ser a técnica de redução de dimensionalidade mais utilizada no mundo, pela sua simplicidade e eficácia. Em muitas áreas científicas e industriais, apenas os primeiros 2 a 10 componentes principais conseguem explicar entre 70% e mais de 90% da variância total, mesmo em conjuntos de dados com centenas de dimensões.

Conheça o seu parente próximo: a Análise Discriminante Linear

Enquanto o PCA se concentra em capturar variância, o seu parente próximo, a Análise Discriminante Linear (LDA), tem uma missão completamente diferente. O LDA é uma técnica supervisionada, o que significa que usa os rótulos dos dados (como "cliente abandonou" vs. "cliente ficou") para encontrar os eixos que melhor separam as diferentes classes.

Pense assim: o PCA é não supervisionado e quer apenas encontrar a "forma" mais interessante da nuvem de dados global. O LDA é supervisionado e quer encontrar o melhor ângulo de visualização para ver a separação entre pontos de cores diferentes dentro dessa nuvem.

Embora ambas sejam técnicas lineares, os seus objetivos são muito diferentes.

• PCA: Maximiza a variância. É um método não supervisionado.

• LDA: Maximiza a separação entre categorias conhecidas. É um método supervisionado.

Se o objetivo final for classificação, o LDA é frequentemente um ponto de partida melhor, pois é especificamente concebido para encontrar as características que ajudam a distinguir grupos. Para exploração geral de dados e pré-processamento, a natureza não supervisionada do PCA torna-o muito mais versátil. Ambos são ferramentas essenciais para simplificar dados, apenas respondem a perguntas ligeiramente diferentes.

Descobrir padrões complexos com t-SNE e UMAP

As técnicas lineares como o PCA são excelentes para encontrar os padrões amplos e em linha reta nos dados. Mas o que acontece quando as relações são menos como uma estrada reta e mais como um novelo de lã emaranhado? É aí que se recorre à redução de dimensionalidade não linear.

Estes métodos avançados não assumem ligações simples e lineares. Em vez disso, funcionam como cartógrafos especializados, mapeando cuidadosamente as vizinhanças complexas e locais dentro dos dados de alta dimensão e preservando essas relações numa visão 2D ou 3D simplificada.

Duas das ferramentas mais poderosas e populares para este trabalho são o t-Distributed Stochastic Neighbor Embedding (t-SNE) e o Uniform Manifold Approximation and Projection (UMAP).

Visualizar vizinhanças locais com t-SNE

O seu principal objetivo é pegar em pontos que estão próximos no espaço original de alta dimensão e garantir que permanecem próximos no mapa final simplificado.

Pense nisso como organizar uma festa com muita gente. O t-SNE olha para cada pessoa (um ponto de dados) e os seus amigos mais próximos. Depois tenta colocar toda a gente numa planta 2D de forma que os grupos de amigos mais chegados fiquem agrupados. Isto torna incrivelmente fácil ver quem pertence a qual círculo social, revelando clusters escondidos que de outra forma nunca detetaria.

Mas o t-SNE tem um foco absoluto nestas relações locais. Para destacar os clusters, afasta agressivamente os pontos que não são vizinhos. Esta é simultaneamente a sua maior força e a sua característica mais mal compreendida.

Nota fundamental: As distâncias entre clusters num gráfico t-SNE são geralmente sem significado. Um grande espaço entre dois grupos não significa que sejam mais diferentes do que dois grupos com um espaço pequeno. O gráfico é construído para mostrar quais são os clusters, não quão distantes estão globalmente.

Por ser computacionalmente pesado, o t-SNE é mais adequado para conjuntos de dados até algumas centenas de milhares de pontos. É uma ferramenta fenomenal para análise exploratória, ajudando a detetar padrões intrincados em dados complexos como segmentos de clientes ou genómica de células individuais.

Equilibrar velocidade e estrutura com UMAP

O UMAP, chegado mais recentemente em 2018, foi concebido para resolver algumas das limitações do t-SNE. Embora partilhe a mesma missão central de preservar a estrutura local, faz também um trabalho muito melhor a manter a estrutura global dos dados.

Se o t-SNE é um organizador de festas focado em agrupar amigos, o UMAP é um urbanista. Continua a garantir que as casas do mesmo bairro ficam próximas, mas organiza também os próprios bairros de forma a refletir as suas relações geográficas originais na cidade maior. Isto significa que as distâncias entre clusters num gráfico UMAP são frequentemente mais significativas e intuitivas.

Além disso, o UMAP está construído sobre matemática inteligente que o torna significativamente mais rápido do que o t-SNE. Esta velocidade torna o UMAP uma escolha prática para conjuntos de dados muito maiores, mesmo com milhões de pontos de dados.

Comparação de técnicas populares de redução de dimensionalidade

Para tornar tudo isto mais claro, é útil ver estas técnicas lado a lado. Aqui fica um resumo rápido dos principais contendores, incluindo o PCA da secção anterior, para ajudar a decidir qual a ferramenta certa para cada situação.

• PCA: Tipo: Linear; Indicado para: Encontrar padrões amplos e globais; extração de características.; Vantagem principal: Rápido, estável e fácil de interpretar.; Limitação principal: Falha em relações complexas e não lineares.

• t-SNE: Tipo: Não linear; Indicado para: Visualização de alta qualidade de clusters locais.; Vantagem principal: Cria clusters visualmente distintos e bem separados.; Limitação principal: Lento; as distâncias entre clusters não têm significado.

• UMAP: Tipo: Não linear; Indicado para: Redução e visualização de uso geral.; Vantagem principal: Muito rápido; equilibra estrutura local e global.; Limitação principal: Pode ser sensível ao ajuste de hiperparâmetros.

• Autoencoder: Tipo: Não linear; Indicado para: Extração de características complexas; compressão de dados.; Vantagem principal: Muito flexível e poderoso para dados intrincados.; Limitação principal: Requer grandes volumes de dados e poder computacional.

Cada um destes métodos tem o seu lugar no conjunto de ferramentas. O segredo está em saber quando usar o certo. Para uma primeira análise, o PCA é ótimo. Para visualizações de clusters com grande impacto, o t-SNE destaca-se. Para uma abordagem rápida e equilibrada, o UMAP é frequentemente a escolha preferida.

Interpretar corretamente estes mapas complexos

Tanto o t-SNE como o UMAP são poderosos, mas podem ser enganadores se não souber ler os mapas que criam. Aqui ficam algumas dicas essenciais para evitar erros comuns:

• O tamanho dos clusters não tem significado: O espaço que um cluster ocupa no gráfico não tem qualquer relação com a quantidade de pontos de dados que contém. Um cluster pequeno e denso pode ter mais dados do que um cluster grande e disperso.

• Não sobreinterprete as distâncias (especialmente no t-SNE): Como já foi dito, o espaço entre clusters num gráfico t-SNE é um artefacto. Concentre-se nos agrupamentos em si, não nos espaços entre eles. O UMAP é melhor neste aspeto, mas as distâncias entre clusters devem ainda assim ser encaradas com algum ceticismo.

• Experimente as configurações: O gráfico final pode mudar drasticamente consoante os parâmetros, como perplexity (no t-SNE) ou n_neighbors (no UMAP). Execute sempre o algoritmo algumas vezes com configurações diferentes para se certificar de que os padrões que está a ver são reais e não apenas um efeito dos parâmetros escolhidos.

Em última análise, o t-SNE e o UMAP são ferramentas incríveis para desvendar as camadas de dados complexos e não lineares. Quando usados com critério, permitem descobrir as histórias profundas e escondidas que métodos mais simples nunca conseguiriam revelar.

Quando precisa de uma solução à medida: Autoencoders

Por vezes, as ferramentas prontas a usar simplesmente não chegam. Quando os métodos lineares como o PCA não conseguem captar a complexidade dos dados, é preciso trazer as ferramentas mais pesadas. É aí que entram os autoencoders, uma abordagem de deep learning poderosa e flexível para a redução de dimensionalidade.

Pense num autoencoder como um sistema de duas partes: um artista habilidoso e um mestre falsificador a trabalhar em conjunto. A primeira parte, o encoder, é o artista. Pega numa imagem detalhada e de alta resolução (os dados originais) e cria um esboço pequeno e minimalista. Este esboço não é apenas uma imagem encolhida; é uma representação abstrata que contém apenas a informação mais crítica.

Depois vem o decoder, o falsificador. O seu trabalho é pegar nesse esboço pequeno e reconstruir a obra-prima original em todo o seu esplendor. Todo o sistema é treinado com um único objetivo surpreendentemente simples: fazer a cópia final parecer exatamente com o original.

O bottleneck: onde acontece a magia

O verdadeiro génio deste processo está no "bottleneck", a camada do meio onde vive o esboço comprimido. Esta camada é intencionalmente concebida para ser pequena, tem muito menos neurónios do que a entrada. Esta restrição obriga o encoder a ser incrivelmente inteligente sobre que informação mantém. Tem de aprender a forma mais eficiente e densa de representar os dados.

É essa representação comprimida que procuramos. É um conjunto completamente novo de características, feitas à medida dos dados, que condensa todos os padrões importantes num pacote muito menor e mais manejável.

A lógica é de uma simplicidade elegante: se a rede consegue pegar numa versão pequena e comprimida de algo e reconstruir o original quase na perfeição, então essa versão pequena deve ser um resumo muito bom.

É isto que permite aos autoencoders aprender relações não lineares incrivelmente complexas que outros métodos perderiam por completo. Enquanto o PCA está limitado a traçar linhas retas, um autoencoder aprende a seguir as curvas, torções e emaranhados inerentes aos dados do mundo real.

Quando usar um autoencoder

Esta capacidade de aprender padrões não lineares à medida torna os autoencoders perfeitos para tarefas especializadas onde os métodos genéricos ficam simplesmente aquém.

Aqui ficam algumas áreas onde realmente se destacam:

• Compressão de imagem mais inteligente: Um autoencoder pode ser treinado especificamente em rostos ou imagens médicas, aprendendo as suas características únicas. Isto permite-lhe atingir uma compressão muito melhor do que algoritmos de uso geral como o JPEG, que não "conhecem" o que estão a comprimir.

• Remoção de ruído nos dados: É possível treinar um "autoencoder de remoção de ruído" especial, alimentando-o com imagens granuladas e ruidosas e pedindo-lhe que reproduza os originais limpos. No processo, aprende a distinguir o sinal importante do ruído aleatório, limpando efetivamente os dados.

• Deteção de anomalias: Esta abordagem é engenhosa. Treina-se um autoencoder exclusivamente em dados "normais", como transações de cartão de crédito legítimas. A rede torna-se muito boa a reconstruí-las. Mas quando aparece uma transação fraudulenta, esta é tão diferente que a rede falha miseravelmente a reconstruí-la. Este "erro de reconstrução" elevado funciona como um sinal de alerta imediato, sinalizando a anomalia.

Claro que não há almoços grátis. Como modelo de deep learning, um autoencoder precisa de mais dados e poder computacional para treinar do que o PCA ou o UMAP. Mas para problemas complexos onde é preciso um extrator de características poderoso e específico para os dados, o desempenho que entrega está frequentemente numa classe à parte. Oferecem uma forma de encontrar insights mais profundos e construir modelos muito mais eficazes.

Como escolher a técnica certa para o seu projeto

Tem agora um conjunto incrível de técnicas de redução de dimensionalidade. A grande questão já não é o que pode fazer, mas qual a ferramenta que deve mesmo usar. Escolher o método certo não é encontrar a técnica "melhor", é encontrar a melhor para o trabalho que tem em mãos neste momento.

Esta decisão resume-se a fazer algumas perguntas simples sobre os dados e o que se pretende alcançar. Está a tentar criar uma visualização convincente para apresentar às partes interessadas, ou apenas a preparar dados para outro modelo de machine learning onde o que conta é o desempenho bruto?

Definir o objetivo principal

Antes de mais, o que é o sucesso para este projeto? Técnicas diferentes são construídas para trabalhos diferentes.

• Para visualização de dados: Se o objetivo é explorar os dados e encontrar padrões ou clusters escondidos, os métodos não lineares como t-SNE e UMAP são os melhores aliados. São excelentes a criar mapas 2D intuitivos que mostram a estrutura local do conjunto de dados, o que é perfeito para coisas como segmentação de clientes. O UMAP tende a ser preferido aqui por ser mais rápido e fazer um trabalho melhor a manter a estrutura global.

• Para pré-processamento de modelos: Quando o objetivo é reduzir o conjunto de características para acelerar o treino do modelo ou evitar o overfitting, as prioridades mudam completamente. Agora, o que importa é velocidade, estabilidade e o desempenho das novas características. O PCA é um ponto de partida fantástico e muito rápido para isto. Produz componentes não correlacionados que funcionam bem com a maioria dos modelos. Se os dados tiverem relações não lineares mais complexas, um Autoencoder bem concebido pode criar características personalizadas muito poderosas que podem dar um grande impulso à precisão do modelo.

O compromisso com a interpretabilidade

A próxima grande pergunta que tem de se fazer é: preciso de explicar como isto funciona? Em muitas situações de negócio, compreender porque é que um modelo tomou uma decisão é tão crucial como a própria decisão. É aqui que a linha entre extração e seleção de características se torna muito importante.

Escolher uma técnica é muitas vezes uma troca direta entre desempenho e interpretabilidade. O PCA cria componentes abstratos, enquanto os métodos de seleção de características mantêm as variáveis originais e compreensíveis.

Se os resultados do modelo tiverem de ser explicáveis, como na avaliação de risco de crédito, provavelmente é melhor usar um método de seleção de características mais simples. Pode perder um pouco de poder preditivo, mas ganha a capacidade de explicar a lógica. Por outro lado, para uma tarefa como reconhecimento de imagem, onde o "porquê" é menos importante do que o "o quê", as características abstratas mas poderosas de um autoencoder são uma escolha perfeita.

Adaptar a técnica a um problema de negócio

Vamos trazer isto para a terra com alguns cenários reais.

• Cenário 1: Análise de campanha de marketing
  Uma equipa de marketing quer compreender melhor a sua base de clientes usando dados de histórico de compras e comportamento no site. O objetivo principal é a visualização. O UMAP seria uma escolha excelente. Consegue criar um gráfico 2D claro dos clusters de clientes, permitindo à equipa literalmente ver as diferentes personas que precisa de segmentar.

• Cenário 2: Deteção de fraude financeira
  Um banco precisa de construir um modelo para sinalizar transações fraudulentas. Aqui, o desempenho e a velocidade são tudo, e as novas características não precisam de ser compreendidas por uma pessoa. O PCA é um excelente primeiro passo para eliminar o ruído e acelerar o modelo de deteção principal. Se não for suficiente, um Autoencoder mais avançado treinado apenas em transações normais pode tornar-se um especialista em detetar qualquer coisa que pareça fora do lugar.

Em última análise, escolher a técnica certa é uma decisão estratégica que alinha as ferramentas de ciência de dados com os objetivos de negócio. Ao perceber se precisa de visualização ou desempenho, e quanta interpretabilidade pode dispensar (ou não), é possível escolher com confiança o melhor método para transformar uma montanha de dados em insights acionáveis. Saber fazer isto é uma parte fundamental de usar o machine learning para o crescimento do negócio e tomar decisões inteligentes baseadas em dados.

Perguntas frequentes

Mergulhar na redução de dimensionalidade levanta sempre algumas questões práticas. Vamos responder às mais comuns que surgem quando está a trabalhar a fundo com os seus dados.

Quantas dimensões devo manter?

A resposta honesta? Depende, mas há algumas regras práticas muito úteis.

Se estiver a usar a Análise de Componentes Principais (PCA), o método preferido é verificar a variância explicada acumulada. A ideia é a seguinte: traça-se quanto da "história" dos dados originais é contada por cada novo componente que se adiciona.

O que se procura é o ponto de equilíbrio. Aponte para o número de componentes que captura entre 80% e 95% da variância. Isto costuma dar uma excelente troca, simplificando os dados sem descartar o que é importante.

Se estiver a trabalhar com ferramentas de visualização como t-SNE ou UMAP, a resposta é muito mais simples. Vai quase sempre para duas ou três dimensões porque, bem, é o que conseguimos ver num gráfico 2D ou 3D.

Quando devo usar PCA em vez de t-SNE ou UMAP?

Isto depende do que está a tentar alcançar. Tudo se resume ao objetivo.

Use PCA quando o seu trabalho principal é preparar dados para outro modelo de machine learning. É uma ferramenta robusta, rápida, fiável, e produz novas características que funcionam bem com algoritmos como a regressão linear. Trata-se de preparar o modelo para o sucesso.

Por outro lado, use t-SNE ou UMAP quando o objetivo principal é visualização e exploração dos dados. Estas técnicas são artistas, excelentes a revelar as estruturas locais subtis e os clusters escondidos para criar mapas bonitos e intuitivos do conjunto de dados, que o PCA simplesmente ignoraria.

Uma forma simples de recordar: o PCA é para o modelo, enquanto o t-SNE e o UMAP são para os olhos. Saber qual a ferramenta a retirar do conjunto de técnicas de redução de dimensionalidade é fundamental para obter o que precisa dos dados, seja um modelo melhor ou um insight mais profundo.

Na NILG.AI, ajudamos empresas a transformar ideias como estas em resultados práticos e mensuráveis com IA e dados. Se quiser explorar como isto se aplica ao seu negócio, entre em contacto com a nossa equipa.