H1Não sustentada
Poucos rótulos
Com 1%, 5% e 10% dos rótulos, P supera B2 por ≥ 2 pp?
- 1%: −2,0 pp · p 0,771
- 5%: +0,1 pp · p 0,934
- 10%: +1,6 pp · p 0,409
Resultados · 250 execuções · 5 sementes · teste t pareado com correção de Holm
O pré-treino não trouxe ganho comprovado.
Com 100% dos rótulos, o melhor macro-F1 médio no teste foi o de B1 · Random Forest: B1 0,543 · B2 0,476 · P 0,436. Diferença não significativa não prova ausência de efeito: com cinco sementes o teste tem pouco poder.
H2Não sustentada
Aplicações não vistas
Com aplicações fora do treino, P supera B2 e B1?
- A1 10%: vs B2 +0,8 pp · vs B1 +2,2 pp
- A1 100%: vs B2 +0,9 pp · vs B1 −0,2 pp
- A2 10%: vs B2 −5,8 pp · vs B1 −15,4 pp
- A2 100%: vs B2 +1,3 pp · vs B1 −19,1 pp
H3Não sustentada
Perda de pacotes
Quando pacotes somem, P perde menos que B2?
- 10% rót., 10% perda: +1,8 pp · p 0,408
- 10% rót., 20% perda: +2,3 pp · p 0,435
- 100% rót., 10% perda: −0,7 pp · p 1,000
- 100% rót., 20% perda: −1,2 pp · p 1,000
H4Confirmada
Custo
P tem a mesma inferência de B2, pagando só o pré-treino?
- inferência B2 19,1 ms · P 19,9 ms (lote de 256)
- 76.101 parâmetros nos dois
- pré-treino ≈ 3,7 s por cenário e semente
Quanto rótulo cada modelo precisa?
Macro-F1 no teste do cenário N (aplicações vistas), média de 5 sementes e intervalo de confiança de 95%.
Ver tabela · C1/C2
| Rótulos | B1 | B2 | P | P − B2 | p de Holm |
|---|---|---|---|---|---|
| 1% | 0,267 | 0,299 | 0,279 | −2,0 pp | 0,793 |
| 5% | 0,373 | 0,368 | 0,370 | +0,1 pp | 0,934 |
| 10% | 0,424 | 0,385 | 0,401 | +1,6 pp | 0,546 |
| 100% | 0,543 | 0,476 | 0,436 | −4,0 pp | 0,793 |
E com aplicações que o treino nunca viu?
A1 retira Skype, YouTube e email1; A2 retira Facebook, FTPS, Netflix e email2. O teste da dobra é fixo; a semente muda só o treino.
Ver tabela · C3
| Dobra | B1 | B2 | P | P − B2 | P − B1 |
|---|---|---|---|---|---|
| A1 · 10% | 0,215 | 0,229 | 0,237 | +0,8 pp | +2,2 pp |
| A1 · 100% | 0,246 | 0,235 | 0,243 | +0,9 pp | −0,2 pp |
| A2 · 10% | 0,396 | 0,301 | 0,243 | −5,8 pp | −15,4 pp |
| A2 · 100% | 0,499 | 0,295 | 0,308 | +1,3 pp | −19,1 pp |
Quando pacotes se perdem no caminho.
Cada pacote do teste some com probabilidade p antes do corte em 32, e os intervalos são recalculados. Os modelos não treinam com perda. Consistência: com 0% de perda, a diferença máxima para C1/C2 foi 0,0000.
Custo e o que o pré-treino aprende sozinho.
B146,3 msinferência por lote de 256 (CPU)300 árvores
B219,1 msinferência por lote de 256 (CPU)76.101 parâmetros
P19,9 msinferência por lote de 256 (CPU)76.101 parâmetros · pré-treino 3,7 s
Se o encoder pré-treinado fosse útil por si só, “P congelado” ficaria acima de “B2 congelado”, que parte de um encoder aleatório.
Cada classe tem a sua dificuldade.
Cenário N, 100% dos rótulos. A matriz soma as 5 sementes; cada linha mostra para onde foram os fluxos daquela categoria real.
| Chat | Transferência | Streaming | VoIP | ||
|---|---|---|---|---|---|
| B1 | 0,45 | 0,62 | 0,30 | 0,73 | 0,62 |
| B2 | 0,33 | 0,54 | 0,29 | 0,70 | 0,53 |
| P | 0,31 | 0,47 | 0,28 | 0,73 | 0,40 |
| Chat | Transferência | Streaming | VoIP | ||
|---|---|---|---|---|---|
| Chat | 54% | 17% | 11% | 2% | 17% |
| 11% | 74% | 8% | 0% | 7% | |
| Transferência | 43% | 9% | 23% | 6% | 19% |
| Streaming | 6% | 3% | 7% | 78% | 5% |
| VoIP | 22% | 20% | 26% | 5% | 26% |
Os primeiros pacotes dizem quase tudo.
Oclusão: zera um pacote por vez e mede a queda na probabilidade da classe prevista (semente 0). Mostra correlação, não causa.
| 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Chat | ||||||||||||||||||||||||||||||||
| Transferência | ||||||||||||||||||||||||||||||||
| Streaming | ||||||||||||||||||||||||||||||||
| VoIP |
Posições mais influentes: Chat 2, 4, 3 · E-mail 1, 21, 22 · Transferência 4, 2, 5 · Streaming 1, 3, 2 · VoIP 3, 5, 7. Células com menos de 5 fluxos ficam vazias.
Sem payload, ainda vaza alguma coisa.
Um Random Forest sobre a matriz achatada tenta adivinhar a aplicação (17 combinações) e a categoria.
0,31acurácia ao identificar a aplicaçãoacaso uniforme ≈ 0,06
0,34F1 da aplicação17 classes
0,54F1 da categoriavia aplicação 0,52
Os números por trás do veredito.
| Grupo | Rótulos | Perda | Comparação | Diferença (IC95%) | p de Holm | Veredito |
|---|---|---|---|---|---|---|
| C3-A1 | 10% | 0% | P − B2 | +0,8 pp (-0,011 a 0,026) | 0,492 | sem evidência |
| C3-A1 | 100% | 0% | P − B2 | +0,9 pp (-0,009 a 0,026) | 0,492 | sem evidência |
| C3-A2 | 10% | 0% | P − B2 | −5,8 pp (-0,124 a 0,008) | 0,141 | relevante (>= 2 pp), mas não significativa |
| C3-A2 | 100% | 0% | P − B2 | +1,3 pp (-0,041 a 0,066) | 0,539 | sem evidência |
| C4-N | 10% | 10% | P − B2 | −0,3 pp (-0,018 a 0,013) | 0,658 | sem evidência |
| C4-N | 10% | 20% | P − B2 | −0,7 pp (-0,021 a 0,006) | 0,427 | sem evidência |
| C4-N | 100% | 10% | P − B2 | −3,3 pp (-0,093 a 0,026) | 0,385 | relevante (>= 2 pp), mas não significativa |
| C4-N | 100% | 20% | P − B2 | −2,8 pp (-0,088 a 0,032) | 0,427 | relevante (>= 2 pp), mas não significativa |
| N | 1% | 0% | P − B2 | −2,0 pp (-0,077 a 0,037) | 0,793 | relevante (>= 2 pp), mas não significativa |
| N | 5% | 0% | P − B2 | +0,1 pp (-0,039 a 0,042) | 0,934 | sem evidência |
| N | 10% | 0% | P − B2 | +1,6 pp (-0,008 a 0,039) | 0,546 | sem evidência |
| N | 100% | 0% | P − B2 | −4,0 pp (-0,126 a 0,046) | 0,793 | relevante (>= 2 pp), mas não significativa |
| C3-A1 | 10% | 0% | P − B1 | +2,2 pp (-0,004 a 0,049) | 0,156 | relevante (>= 2 pp), mas não significativa |
| C3-A1 | 100% | 0% | P − B1 | −0,2 pp (-0,033 a 0,028) | 0,835 | sem evidência |
| C3-A2 | 10% | 0% | P − B1 | −15,4 pp (-0,182 a -0,125) | < 0,001 | significativa e relevante |
| C3-A2 | 100% | 0% | P − B1 | −19,1 pp (-0,299 a -0,083) | 0,008 | significativa e relevante |
| C4-N | 10% | 10% | P − B1 | −5,1 pp (-0,082 a -0,019) | 0,024 | significativa e relevante |
| C4-N | 10% | 20% | P − B1 | −6,3 pp (-0,097 a -0,029) | 0,008 | significativa e relevante |
| C4-N | 100% | 10% | P − B1 | −12,6 pp (-0,208 a -0,044) | 0,024 | significativa e relevante |
| C4-N | 100% | 20% | P − B1 | −13,4 pp (-0,197 a -0,071) | 0,008 | significativa e relevante |
| N | 1% | 0% | P − B1 | +1,1 pp (-0,005 a 0,028) | 0,390 | sem evidência |
| N | 5% | 0% | P − B1 | −0,4 pp (-0,055 a 0,048) | 0,850 | sem evidência |
| N | 10% | 0% | P − B1 | −2,2 pp (-0,066 a 0,022) | 0,459 | relevante (>= 2 pp), mas não significativa |
| N | 100% | 0% | P − B1 | −10,7 pp (-0,191 a -0,023) | 0,095 | relevante (>= 2 pp), mas não significativa |
| X1 | 1% | 0% | P congelado − B2 congelado | +3,2 pp (-0,004 a 0,068) | 0,280 | relevante (>= 2 pp), mas não significativa |
| X1 | 5% | 0% | P congelado − B2 congelado | +0,5 pp (-0,067 a 0,078) | 1,000 | sem evidência |
| X1 | 10% | 0% | P congelado − B2 congelado | −0,5 pp (-0,033 a 0,022) | 1,000 | sem evidência |
| X1 | 100% | 0% | P congelado − B2 congelado | −3,6 pp (-0,086 a 0,014) | 0,348 | relevante (>= 2 pp), mas não significativa |