Agenda de hoje

• Cobertura contra qualidade de assercao
• O vicio de mock
• O que o agente testa bem
• O que o humano ainda escreve a mao

O agente testa bem, mas nao como voce imagina

• Cobertura de casos de borda: agentes tiveram cerca do dobro da variedade de checagens de limite
• Teste de nulo apareceu em 13,4% dos casos contra 8,3% dos humanos
• Forca de assercao: humanos ligeiramente a frente, 88,1% contra 85,4%

O problema do mock

• Agentes adicionam mock com mais frequencia que humanos
• Teste com mock demais passa mesmo quando o sistema esta quebrado
• Sinal de alerta: o teste nao falha quando voce quebra a funcao de proposito

Cobertura vem em minoria dos PRs

• Agentes incluem mudanca de teste em apenas 49,6% dos PRs que mexem em codigo
• Quando incluem, o ganho e real: mais de 15 pontos percentuais em Java
• O ganho se concentra em poucos PRs

A regra da disciplina