Você faz a triagem do turno
De 84 ocorrências, quais vão para a fila sem ninguém ler?
As 84 mensagens do turno vieram de motoristas, SAC e transportadoras, cada uma escrita de um jeito, e cada uma vai para uma das 7 filas de atendimento. Hoje decide uma regra de 95 palavras-chave; um modelo leve lê todas e diz o quanto confia em cada leitura.
A pergunta da cena: Um modelo leve classifica melhor que a regra e sabe quando pedir ajuda?
Regras do turno
- mensagens
- 84
- filas
- 7
- termos da regra
- 95
- Nada errado sem revisão
Mensagem que vai direto para a fila errada atrasa o atendimento sem ninguém ver.
- A mesa custa tempo
Cada mensagem que vem para você é lida à mão.
- Gabarito só no fim
Você decide até onde confiar no modelo vendo só a confiança dele. O certo e o errado aparecem depois.
Qual destas três o modelo erra?
São mensagens do turno, como chegaram. Toque numa para apostar; a resposta vem depois do gabarito.
- Fila
- Cada tipo de ocorrência tem uma fila de atendimento; mandar para a errada atrasa sem ninguém ver.
- Sua mesa
- O que vem para você é lido à mão. Seguro, mas custa tempo.
- Confiança
- O quanto o modelo confia na própria leitura. Confiança alta não garante acerto.
- Atraso
- Endereço incorreto
- Cliente ausente
- Avaria
- Devolução
- Recusa
- Outros
- Sua mesa
Por dentro da cenamétodo, premissas e o que ela não prova
Regressão logística sobre palavras, pares de palavras e pedaços de 3 a 5 letras (TF-IDF), treinada em 1.820 frases sintéticas geradas de 82 frases-base e testada em 84 frases escritas à mão, fora do gerador. Nenhuma frase-base é paráfrase do teste. Roda no seu navegador; o Python e o navegador dão a mesma conta, conferida a cada build.
A regra de comparação é bem feita de propósito: 95 termos que pegam as variações da palavra (atraso, atrasado, atrasou), todos tirados das mesmas frases que o modelo estudou. Ela acerta 57. Uma regra fraca, de 30 termos por palavra inteira, acertaria 26, e comparar com ela faria o modelo parecer melhor do que é.
O modelo só sugere a fila. Não encerra ocorrência, não aplica penalidade, não autoriza pagamento nem bloqueia entrega.
| Corte sugerido do portão | 50% |
| Gabarito do teste | 84 frases, 12 por fila |
| Filas | 7, ligadas à tabela de ocorrências OCOREN 3.1 da Proceda |
| Regra | 95 termos pelo começo da palavra |
| Treino do modelo | 1.820 frases sintéticas de 82 frases-base |
O que a cena não prova
- Acerto em ocorrências reais: nenhum texto aqui é de operação.
- A mistura real do turno: o teste tem 12 frases por fila.
- Mensagens com duas ocorrências: o modelo escolhe uma só fila.
- O corte de 50% em outra amostra: ele foi escolhido olhando estas frases.
- Que o modelo entende frases novas: procurar a frase de treino mais parecida, sem modelo nenhum, acerta 70 de 84; o modelo, 74.