62,7 prosenttia. 98,6 prosenttia. Sama tekoälymalli, sama benchmark, sama päättelytaso ja kaksi erilaista käyttökehystä.

Näin kävi GPT-6 Astralle ARC-AGI-3-testissä. ARC Prize raportoi syyskuun alussa, että max-päättelytasolla tavallisen käyttökehyksen tulos oli 62,71 prosenttia. Palveluntarjoajakohtaisella Provider Adapter -käyttökehyksellä vastaava tulos oli 98,55 prosenttia. Adapterin paras raportoitu tulos, 99,88 prosenttia, saatiin high-päättelytasolla.

Ero ei tee kummastakaan tuloksesta väärää. Se paljastaa jotakin olennaisempaa: benchmarkin pistemäärä ei kuvaa vain mallia. Se kuvaa mallin, käyttökehyksen, työkalujen, laskentabudjetin, tehtäväjoukon ja pisteytyksen muodostamaa kokonaisuutta.

Yhdeksän päivää myöhemmin ARC Prize julkisti ARC-AGI-4:n tavoitteen. Uuden benchmarkin on määrä kohdistua autonomiseen, avoimeksi jätettyyn innovointiin. Tuttavallisemmin sanottuna se yrittää mitata keksimistä.

Kunnianhimo on tervetullut. Samalla panokset kasvavat. Kun testi pyrkii mittaamaan valmiin vastauksen sijasta uuden idean syntymistä, itse mittarin rajoista tulee entistä tärkeämpiä.

ARC-AGI-4:n tehtäviä ei ole julkaistu. Myöskään pisteytystä, ihmisen vertailutasoa, aineiston suojausta tai teknistä raporttia ei ole nähty. François Chollet on kertonut tavoiteajaksi vuoden 2027 ensimmäisen neljänneksen.

Siksi ARC-AGI-4 ei vielä osoita, että keksimistä osataan mitata. Julkistus kertoo vain tutkimussuunnasta.

Sanavalinta "open-ended innovation" on tärkeä. Avoimeksi jätetyssä tehtävässä ei välttämättä ole yhtä ennalta tunnettua vastausta. Hyvä ratkaisu voi syntyä tavalla, jota testin laatija ei ennakoinut. Silloin arvioijan pitää erottaa ainakin kolme asiaa:

Erilainen vastaus täyttää helposti ensimmäisen ehdon. Uskottava innovaatiosignaali vaatii pelkän erilaisuuden lisäksi perustellun uutuuden sekä näyttöä toimivuudesta tai hyödyllisyydestä.

ARC-sarjan lähtökohta löytyy François Chollet'n vuoden 2019 esseestä On the Measure of Intelligence. Sen mukaan korkea taitotaso yhdessä tehtävässä ei vielä kerro älykkyydestä. Suuri määrä harjoitusdataa ja ennakkotietoa voi tuottaa huipputuloksen ilman vahvaa kykyä oppia uutta.

ARC yrittää siksi arvioida uuden taidon omaksumisen tehokkuutta. Testin muoto on muuttunut mallien kehittyessä.

ARC-AGI-3:n muutos oli iso. Agentti ei saanut vain syötettä ja tuottanut lopputulosta. Sen piti kokeilla, havaita palautetta ja korjata toimintamalliaan. Pisteytyksessä huomioidaan ratkaisemisen lisäksi toimintojen määrä suhteessa tehtävän ratkaisseisiin ihmisiin.

Tämä vie benchmarkia lähemmäs oppimisen prosessia. Silti ARC Prize korostaa omassa Astra-analyysissään, että ARC-AGI-3 on rajattu, deterministinen ja suljettu testi. Sen läpäiseminen ei todista tosielämän avoimessa ympäristössä toimivaa yleistä älykkyyttä.

Astran 62,71 ja 98,55 prosentin ero max-päättelytasolla liittyi siihen, miten malli sai pitää kiinni työn aikana kertyneestä tiedosta. Tavallinen käyttökehys jätti muistamisen mallin omien muistiinpanojen varaan. Provider Adapter säilytti sisäistä päättelytilaa ja tiivisti pitkää vuorovaikutushistoriaa.

Benchmark-uutisessa mallin nimi on usein otsikon näkyvin osa. Käytännössä tulokseen vaikuttavat myös kehote, päättelybudjetti, muistiratkaisu, työkalut, yritysmäärä, pysäytysehto ja tehtävään käytetty raha. Yrityskäytön mittaamisessa sama periaate näkyy vielä selvemmin: mallia ei oteta töihin irrallaan työnkulusta.

Yksittäinen pisteluku tiivistää nämä valinnat näkymättömiin. Siksi lause "malli sai lähes täydet pisteet" on vasta keskustelun alku. Seuraava kysymys kuuluu: millä järjestelmällä ja millä ehdoilla?

Ensimmäinen ehto on tehtävien uutuus. Täsmälleen uusi tehtävä ei vielä takaa uutta ongelmaa. Malli on voinut harjoitella miljoonilla lähellä olevilla synteettisillä esimerkeillä. Silloin testi mittaa osittain harjoitusalueen kattavuutta, vaikka varsinainen testitiedosto olisi pysynyt salassa.

Toinen ehto on aineiston suojaus. Julkinen benchmark auttaa tutkijoita vertaamaan menetelmiä ja löytämään virheitä. Samalla siitä tulee harjoituskohde. ARC Prize käyttää siksi julkisia, puoliyksityisiä ja yksityisiä aineistoja eri tarkoituksiin. Järjestö sanoo suoraan, ettei ARC-AGI-3:n julkisen demon pistettä pidä käyttää AGI-kehityksen mittarina.