El número que explica per què existeix això

Provar a mà totes les combinacions de mapes i modes de Battlefield V trigaria unes 500.000 hores, al voltant de 300 anys de feina, segons la mateixa estimació d'EA. Aquesta és la xifra que cita SEED, la divisió de recerca d'EA, per explicar per què va començar a construir bots d'aprenentatge per reforç (RL) per al testeig. És un bon punt de partida, perquè situa aquestes eines on toca: no com un substitut del criteri humà, sinó com una manera de forçar una cobertura que cap estudi podria cobrir amb personal a mà.

Els bots d'EA porten anys en títols AAA reals

SEED ha desplegat agents de testeig amb RL en jocs de producció reals, inclosos Battlefield V i el remake de Dead Space (2023). A Battlefield 2042, l'equip va fer servir trajectòries basades en corbes per millorar els vehicles controlats per IA, reduint el temps mitjà total de recorregut en un 39% i disminuint els encallaments. Per separat, SEED va descobrir que els agents d'aprenentatge per imitació, entrenats observant demostracions humanes, assolien taxes d'èxit semblants a les dels agents de RL amb només 20 minuts d'entrenament davant de 5 hores. Una versió més avançada, anomenada CCPT, combina curiositat amb aprenentatge per imitació per explorar espais 3D a prop d'una ruta demostrada, i ha trobat errors que els bots de referència passaven per alt completament. Res d'això substitueix els bots amb scripts, que segons SEED encara carreguen amb la major part del testeig AAA; el RL exigeix un coneixement profund de machine learning i entrenaments que poden durar dies.

El predictor de bugs d'Ubisoft és anterior al boom de la IA

Molt abans de la IA generativa, el grup de recerca d'Ubisoft, La Forge, va construir Commit Assistant, rebatejat després com Clever-Commit, que estudia una dècada de patrons històrics de bugs per assenyalar nous commits de codi arriscats abans que es fusionin. Ubisoft va estimar que l'eina podia alliberar fins a un 20% del temps d'un programador en detectar regressions de manera primerenca. Es va detallar públicament el febrer de 2019, a prop del moment en què Mozilla es va associar amb Ubisoft per portar l'eina al seu propi flux de desenvolupament de Firefox, amb l'objectiu de detectar entre tres i quatre de cada cinc bugs abans que arribessin a producció, ampliant a més el seu suport a Rust, C++ i JavaScript.

El capital de risc hi aposta igual

Les grans editores no són les úniques que hi aposten. La startup de Copenhaguen modl.ai va aixecar una Sèrie A de 8,5 milions d'euros el novembre de 2022, liderada per Griffin Gaming Partners amb la participació del propi fons de capital risc M12 de Microsoft, específicament per construir bots d'IA per al testeig automatitzat i la depuració. La seva llista inicial de clients incloïa King, N3twork i Nitro.

Allò que res d'això substitueix

El patró que es repeteix en totes aquestes eines és més limitat del que suggereix el discurs de "la IA provarà el teu joc". Són bones en trajectòries, puntuació de risc de regressions i proves de resistència nocturnes de sistemes mecànics, el tipus de problema de cobertura que realment és un problema matemàtic. Cap d'elles està pensada per jutjar si una mecànica resulta divertida, si un jugador nou troba confusa la interfície, o si un bug és alguna cosa que un desconegut real es trobarà i li importarà. Fins i tot la mateixa recerca d'EA presenta el RL com una cosa que complementa el testeig amb scripts i manual, no com una cosa que el substitueix. No és una crítica a les eines. És senzillament una lectura honesta de per a què serveixen de veritat.

La cobertura matemàtica es resol amb bots. Saber què se sent realment en trobar-se un bug encara no es resol així. IndieBug cobreix aquesta altra meitat.