Bestnoten, ohne eine Aufgabe zu erledigen: So einfach lassen sich KI-Benchmarks manipulieren | t3n

Forscher:innen haben KI-Benchmarks auf die Probe gestellt. Denn eigentlich sollten die Systeme verlässlich aussagen, welche Modelle am besten performen. In der Realität lassen sich die Scores aber mit wenigen Handgriffen manipulieren. So erlangen KI-Systeme Bestnoten, obwohl sie keine einzige Aufgabe erledigt haben. Wenn neue KI-Modelle von OpenAI, Anthropic oder Google erscheinen, veröffentlichen die Unternehmen dahinter […]