Google entwickelt derzeit Android Bench weiter, die neueste Version ist 2.0, die die Fähigkeiten der künstlichen Intelligenz bei der Bewältigung komplexerer Entwicklungsaufgaben widerspiegelt. Die erste Version konzentrierte sich auf inkrementelle Verbesserungen bestehender Codebasen, wie das Beheben von Fehlern oder kleinere Funktionsanfragen. Android Bench 2.0 hingegen zielt auf „hochkomplexe Aufgaben ab, die Ingenieure mehrere Tage oder sogar eine Woche in Anspruch nehmen können“, wie das Hinzufügen neuer Funktionen, das Erstellen von Anwendungen von Grund auf sowie die Konvertierung plattformübergreifender Anwendungen in Android.
Dieser neue Fokus erfordert eine „detailliertere Bewertung und Benotung“, die über die Pass- oder Fail-Bewertung hinausgeht. Google wechselt von einer binären Bewertung zu einer kontinuierlichen Bewertung: Wir berechnen diese Abschlussrate anhand verschiedener Faktoren wie Funktionalität, visuelle Realität und Vermeidung von Rückschritten. Wir wenden auch objektive Bewertungsstrafen an, wenn die Bewertungsindikatoren oder strukturellen Einschränkungen abweichen.
Android Bench 2.0 legt den Fokus auf die Bewertung hochkomplexer Aufgaben
Google hat Gemini 3.7/3.8 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3 und Qwen 3.8 Max bewertet. GPT-6 Astra schnitt in den Benchmarks am besten ab, mit einer Bestehensquote von 28% (im Vergleich zu 90% in früheren Methoden). Google teilte einige Erkenntnisse mit, wie zum Beispiel: „Die Portierung plattformübergreifender Anwendungen auf Android bleibt eine ungelöste Herausforderung – kein Modell erreicht eine 100%ige Bestehensquote, die fortschrittlichsten Modelle erreichen höchstens eine Abschlussrate von 80%.”
„Künstliche Intelligenz schneidet beim Schreiben neuer Codes besser ab als beim Refactoring bestehender Codes. Refactoring und Migration werden komplizierter, da der Erfolg von der Komplexität der Architektur abhängt und nicht von der Menge des Codes.“ Darüber hinaus „zeigen die Modelle bei deterministischen Konvertierungen (wie der Umwandlung von Java in Kotlin, dem Austausch von Retrofit gegen Ktor oder der Einführung einer ViewModel-Schicht) starke Fähigkeiten.“ Diese Modelle haben jedoch Schwierigkeiten, wenn Aufgaben eine Laufzeitvalidierung erfordern (wie fehlende Dependency-Injection-Diagramme), bedeutende Framework-Änderungen beinhalten oder mit Wissenslücken zu unveröffentlichten Bibliotheken konfrontiert sind.
Durch Proxy-Bewertungen führte Android Bench „Proxys von den jeweiligen Modellanbietern“ aus, wie Gemini 3.8 Flash, das auf Google Antigravity läuft, und GPT-5.6 Sol, das Codex verwendet. Google erklärte: „Das Design hat einen positiven Einfluss auf die Ergebnisse der Entwickler“, und Android Bench plant, in Zukunft Kombinationen verschiedener Modelle und Proxys zu integrieren.