Vai al contenuto
← Torna al blog

Benchmark Alibaba: gli agenti di coding richiedono ancora correzioni umane

  • AI agentica
Benchmark Alibaba: gli agenti di coding richiedono ancora correzioni umane

Un gruppo di ricercatori di Alibaba e di diverse università asiatiche ha presentato Co-Design Bench, un nuovo benchmark per valutare gli agenti di coding su richieste di modifica tratte da sessioni reali. Invece di usare esercizi sintetici o ormai saturi, il test chiede agli agenti di intervenire su applicazioni web esistenti, anche a partire da input multimodali come immagini, documenti, audio e video. L’obiettivo è misurare non solo se il codice viene prodotto, ma se l’applicazione finale funziona davvero dopo modifiche che riflettono problemi incontrati dagli utenti in contesti concreti.

Il risultato ridimensiona la lettura ottimistica dei benchmark tradizionali. Secondo quanto riportato nell’articolo, il modello migliore tra i dieci valutati soddisfa in media circa il 70 per cento dei requisiti di un compito, ma porta a termine integralmente solo il 26,4 per cento dei casi. In pratica, gli agenti riescono spesso a coprire gran parte del lavoro, ma lasciano dettagli incompleti o errori che richiedono interventi manuali. Il divario è ancora più evidente se confrontato con i test più vecchi, dove modelli agentici arrivano oltre il 99 per cento e le differenze tra sistemi risultano quasi invisibili.

Per il pubblico enterprise questo dato conta per almeno due motivi. Il primo è operativo: una buona resa parziale non equivale a un’attività chiusa, soprattutto quando una modifica tocca logica, interfaccia, contenuti e interazioni nello stesso compito. Lo studio segnala infatti che le prestazioni peggiorano per tutti i modelli quando le richieste combinano più tipi di cambiamento, cioè proprio la condizione tipica dei progetti reali. Il secondo motivo è di governance: il benchmark valuta in modo severo soltanto le funzioni che operano davvero nell’applicazione, con un doppio controllo pensato per individuare risultati simulati o codificati in modo rigido. Per chi deve decidere adozioni in ambienti regolati, la distanza tra “quasi corretto” e “corretto” resta quindi decisiva.

Un altro elemento rilevante riguarda l’ambiente di esecuzione, non solo il modello. I ricercatori osservano che lo stesso sistema può ottenere risultati molto diversi a seconda dell’harness, cioè del programma attraverso cui l’agente legge, modifica ed esegue il codice. Questo suggerisce che le classifiche basate solo sul nome del modello descrivono solo una parte del problema. In una valutazione aziendale, modello, strumenti di esecuzione, criteri di verifica e revisione umana dovrebbero essere considerati come un unico sistema di lavoro.

La notizia non dimostra che gli agenti di coding siano poco utili; mostra piuttosto che il loro valore oggi è soprattutto nell’accelerare parti del ciclo di sviluppo, non nel sostituire integralmente controllo tecnico e responsabilità umana. Per organizzazioni che vogliono introdurre agenti nei processi software, il punto non è inseguire l’automazione completa, ma progettare flussi con verifica, correzione e tracciabilità delle modifiche.

Fonte: The Decoder, 8 novembre 2026