Métodos de Processamento de Dados

Pré-processamento de dados ocorre para preparar um conjunto de dados para as tarefas correspondentes. O pipeline de pré-processamento pode ser muito diferente dependendo dos dados com os quais você estará trabalhando.

Os principais passos são:

• Limpeza de dados;
• Redução de dimensionalidade;
• Conversão de dados;
• Integração de dados de diferentes fontes em um único conjunto.

Cada um dos estágios inclui muitos métodos, por exemplo, a limpeza de dados envolve trabalhar com dados ausentes, que podem ser substituídos pela geração de dados sintéticos, excluindo linhas com dados ausentes ou preenchendo-as com a média de toda a coluna, etc.

A maioria dos modelos aceita apenas dados processados como entrada (imagens convertidas em matrizes, texto convertido em vetores, etc.), mas muitos modelos modernos baseados na arquitetura Transformer, como BERT (Representações Bidirecionais de Encoders a partir de Transformers) e modelos GPT (Transformador Pré-treinado Generativo) podem lidar com dados de texto sem convertê-los em representações numéricas.

Apesar disso, dentro do modelo, os dados ainda são transformados em uma representação numérica, pois apenas com tais dados podem ser realizadas operações matemáticas.