Päiväkodin valinta muuton jälkeen on helpompi ymmärtää kuin mikään mallipistetaulukko. Joko perhe saa järkevän lyhytlistan ja ilmoittautumistiedot, tai ei saa.

OpenAI julkaisi 2. marraskuuta LifeVal-arvioinnin, joka mittaa tekoälyä juuri tällaisilla arjen tehtävillä. Yhtiön mukaan sitä on käytetty sisäisesti jo vuoden ajan mallien kehityksen seurantaan. Kiinnostavin osa ei ole yksittäinen prosenttiluku vaan ajatus siitä, että hyötyä mitataan tehtävän valmistumisena. Sama ajatus sopii yrityksen omaan tekoälykäyttöön, ja Plus-osiossa näytämme, miten se rakennetaan.

OpenAI perustelee LifeValia sillä, että arjen apuun tarvitaan muutakin kuin neuvoja tai keskusteluvastaus. Yhtiön sanoin avustajan pitäisi pystyä tekemään toimia, jotka oikeasti saavat asiat tehdyksi. Esimerkkeinä mainitaan lastenhoidon löytäminen, viranomaispalvelut, budjetin laatiminen, kouluun valmistautuminen, reseptien muokkaaminen, ruokaostokset ja treeniohjelmat.

Taustalla on agenttikehitys. OpenAI kertoo kouluttaneensa mallejaan vuoden ajan selaimen ja tietokoneen käyttöön sekä connector-tehtäviin. Kun malli pääsee sivuille, lomakkeille ja palveluihin, sen arvo ratkeaa siinä, valmistuuko tehtävä. Pelkkä hyvä vastaus ei enää riitä mittariksi.

Tämä jatkaa keskustelua, jota olemme käyneet aiemminkin: voiko benchmark ylipäätään mitata keksimistä, ja miksi tekoälyn käyttöaste on väärä mittari.

LifeValin tehtävälista ei ole OpenAI:n insinöörien keksimä. Pohjana ovat kaksi laajaa ajankäyttöaineistoa, yhdysvaltalainen American Time Use Survey ja kansainvälinen Multinational Time Use Study. Ne kuvaavat, mihin ihmiset käyttävät aikaansa eri väestöryhmissä, vuorokaudenaikoina ja vuodenaikoina.

Lisäksi OpenAI teetti oman, väestöä edustavan kyselyn 3 995 vastaajalle. Heiltä kysyttiin jokaisesta tehtävästä, missä he eniten haluaisivat apua henkilökohtaiselta avustajalta. Tuloksena syntyneet tehtävät kattavat nämä alueet:

Esimerkit ovat OpenAI:n omista kuvauksista, taulukon jaottelu on AI-Sanomien.

Lähtökohta on hyvä, koska se sitoo arvioinnin siihen, mihin ihmisten aika oikeasti kuluu. Kaksi varausta kannattaa silti pitää mielessä. Ajankäyttö ei ole sama asia kuin halu delegoida, ja OpenAI ei kerro sivullaan, keitä kyselyn vastaajat olivat tai missä maissa heitä oli.

OpenAI esittelee sivullaan viisi tehtävää ja niiden tulokset nykyisillä malleillaan. Sivu ei kerro, miten prosentti lasketaan, montako ajokertaa sen takana on tai mitä malliversiota esimerkit koskevat.