Miten tekoälynäkyvyyttä mitataan? Mittarit, testit ja niiden rajat

Kuvitteellisessa kahden 28 päivän jakson vertailussa Googlen AI-näyttökerrat kasvavat 1 000:sta 1 600:aan, tunnistetut AI-istunnot 40:stä 52:een ja myynnin hyväksymät yhteydenotot vähenevät neljästä kolmeen. Muutokset ovat 60 prosenttia, 30 prosenttia ja miinus 25 prosenttia.

Tekoälynäkyvyyden mittaaminen alkaa neljän asian erottamisesta. Näkyikö yrityksen sivu vastauksessa, käytettiinkö sitä lähteenä, tuliko sivustolle käynti ja syntyikö yritykselle sopiva yhteydenotto? Jokainen havainto auttaa eri päätöksessä. Yhteinen raportti toimii, kun lukija ymmärtää myös lukujen laskentatavan.

Jos tekoälyviittaukset lisääntyvät mutta laadukkaat yhteydenotot vähenevät, selvitä ensin, mitä sisältöä löydetään ja mitä kävijä tekee sen jälkeen. Näkyvyyden kasvu voi olla todellinen havainto, vaikka sen kaupallinen merkitys olisi vielä avoin. Alla rakennetaan mittaus, jolla asiasta voi keskustella markkinoinnin, myynnin ja verkkosivujen tekijän kanssa.

Valitse yksi päätös, jota mittauksen pitää tukea

Palveluyritys voi haluta tietää, auttaako verkkosivujen uudistuksen hintaopas tuomaan sopivia tarjouspyyntöjä. Silloin raporttiin tarvitaan tietoa oppaan löydettävyydestä, sen kautta tapahtuvasta etenemisestä ja yhteydenottojen laadusta. Pelkkä yrityksen nimen esiintyminen vastauksessa jättää monta kysymystä auki.

Kirjaa tavoite niin, että sen toteutumista voi arvioida. Esimerkiksi yritys haluaa kasvattaa tiettyyn palveluun sopivien yhteydenottojen määrää seuraavan vuosineljänneksen aikana. Myynti määrittelee, mitä sopiva yhteydenotto tarkoittaa, ja markkinointi kertoo, millä sivuilla asiakasta autetaan eteenpäin.

Sopivuuden arviointiin voi kuulua palvelutarve, toimialue, työn laajuus tai hankinnan ajankohta. Kriteerit riippuvat yrityksestä. Sovi myös, kuka luokittelee yhteydenoton ja missä vaiheessa arvio tehdään. Jos ensimmäisen jakson kaikki kyselyt hyväksytään liideiksi ja seuraavalla jaksolla käytetään tiukkaa luokittelua, muutos kertoo osin mittaustavasta.

Pidä näkyvyys, viittaukset, käynnit ja liidit omissa sarakkeissaan

Yhden kuukausiraportin voi rakentaa seuraavan rungon ympärille.

Havainto Yksikkö Tietolähde Päätös, jota se auttaa
Linkki omaan sivuun näkyy Googlen tekoälyominaisuudessa Näyttökerta raportin määritelmän mukaan Search Consolen generatiivisen tekoälyn raportti Mitkä sivut saavat näkyvyyttä?
Oma sivu esitetään lähteenä tuetuissa Microsoftin tekoälyvastauksissa Lähdeviittaus Bing Webmaster Toolsin AI Performance Mitä sisältöä käytetään lähteenä?
Tunnistettu tekoälylähde tuo sivustolle käynnin Istunto sovitulla rajauksella Verkkoanalytiikka Minne kävijä saapuu ja eteneekö hän?
Myynti hyväksyy uuden yhteydenoton palveluun sopivaksi Yksilöity yhteydenotto CRM tai sovittu seurantataulukko Tukeeko tekeminen kysyntää, jota yritys pystyy palvelemaan?

Pidä näiden lukujen kehitys rinnakkain. Niiden väliin jää käyttäjän valintoja, järjestelmien rajauksia ja tunnistamatta jääviä kohtaamisia. Google-näyttöjen ja Bing-viittausten summa ei muodosta yhtä yleistä tekoälynäkyvyyden mittaria, sillä laskentayksiköt ja palvelujen kattavuus eroavat.

Lue Googlen ja Bingin raportteja niiden omilla määritelmillä

Googlen generatiivisen tekoälyn raportti näyttää AI Overviews- ja AI Mode -ominaisuuksien näyttökertoja. Raportti voi puuttua, jos näyttöjä on vähän. Sivukohtainen taulukko ja koko sivuston kaavio käyttävät erilaista ryhmittelyä, joten niiden summat voivat erota. Ajallinen ryhmittely käyttää Tyynenmeren aikaa. Viennissä puuttuvuutta kuvaavat merkit voivat muuttua nolliksi. Säilytä siksi raportin saatavuus ja rajaukset viennin mukana. Googlen raporttiohje.

Bingin AI Performance kertoo lähdeviittauksista Microsoft Copilotissa, Bingin tekoäly-yhteenvedoissa ja valituissa kumppaniympäristöissä. Grounding queries -tiedot kuvaavat otosta tiedonhaussa käytetyistä ilmauksista. Viittausmäärä auttaa seuraamaan lähteenä käyttöä, mutta yksittäisen vastauksen sijoittelu ja kävijän seuraavat toimet vaativat muuta havaintoa. Tallenna käytetyn raportin kattavuus sen yhteyteen. Bingin AI Performance -kuvaus.

Valitse kummastakin raportista ensin muutama liiketoiminnalle tärkeä sivu. Katso, mihin palveluun kukin sivu liittyy ja onko sen vastaus asiakkaan kysymykseen ajan tasalla. Jos yksi opas alkaa kerätä näkyvyyttä, sen sisältö ja jatkopolku kannattaa tarkistaa ennen uusien samankaltaisten oppaiden tilaamista.

Raportin puuttuessa kirjaa tilaksi esimerkiksi ”tietoa ei saatavilla”. Nollaksi merkitseminen tekisi puuttuvasta havainnosta näennäisen mittaustuloksen. Tämä ero kannattaa säilyttää myös johdon yhteenvedossa ja automatisoidussa raportoinnissa.

Tee jokaisesta poiminnasta lyhyt lähdemerkintä. Siihen riittävät raportin nimi, tarkasteltu sivusto, aikaväli, poimintapäivä, suodattimet ja laskentayksikkö. Säilytä alkuperäinen vienti, jos raportti on tarkoitus uusia myöhemmin. Näin seuraava tekijä pystyy tarkistamaan, mistä yhteenvetoon päätynyt luku tuli. Sama käytäntö auttaa huomaamaan, jos toisella kuukaudella mukaan on tullut uusi alasivusto tai sivusuodatin on jäänyt pois.

Tarkista tekoälystä tulevien käyntien luokittelu GA4:ssä

GA4:n nykyisessä kanavaohjeessa on AI Assistant -kanava esimerkiksi ChatGPT:n, Geminin ja Copilotin kaltaisista lähteistä tulevalle liikenteelle. Googlen AI Overviews- ja AI Mode -liikenne kuuluu Organic Search -kanavaan. Kanavaryhmä perustuu sääntöihin ja tunnistettaviin lähdetietoihin. Tarkista omista käynneistä myös istunnon lähde ja väline, jotta ymmärrät luokittelun. Googlen kanavamääritelmät.

Rakenna tarkastelu samaa päätöstä varten kuin raportin muut osat. Valitse ajanjakso, rajaa tarkasteltavat laskeutumissivut ja näytä rinnakkain istuntojen kanavaryhmä, lähde, väline sekä sovittu onnistumistapahtuma. Dokumentoi mahdolliset omat ryhmittelysäännöt. Raportin nimi ”AI-liikenne” jää liian väljäksi, jos kukaan ei tiedä sen sisältämiä lähteitä.

Testaa mittaus yhdellä hallitulla käyttäjäpolulla. Avaa sovittu linkki, tarkista laskeutumissivu ja tee lomakkeen testilähetys. Varmista, että lähetys onnistuu ja tapahtuma kirjautuu oikeaan näkymään käytetyn suostumusratkaisun mukaisesti. Poista tai erottele testiyhteydenotto myynnin varsinaisesta raportista. Kirjaa havainnot myös silloin, kun mittaus ei tallentanut käyntiä.

Istuntojen ja tapahtumien laskenta kannattaa tarkistaa erikseen. Yksi istunto voi sisältää useita tapahtumia. Istuntokohtaisessa onnistumisasteessa osoittaja on niiden istuntojen määrä, joissa tavoiteltu tapahtuma toteutui. Jokaisen painikkeen klikkauksen laskeminen onnistuneeksi lähetykseksi vääristäisi jo lähtötietoa. Googlen istuntokuvaus, GA4:n mittarimääritelmät.

Pidä analytiikkaan lähtevät kentät hallinnassa. Tavallisiin GA4-tapahtumaparametreihin, osoitteisiin ja sivuotsikoihin ei pidä lähettää Googlen kieltämiä henkilötunnisteita, kuten nimiä tai sähköpostiosoitteita. Tarkista myös lomakkeiden virheviestit ja osoitteeseen päätyvät arvot. Googlen henkilötietoja koskeva ohje.

Sovi erikseen, miten yhteydenoton alkuperää tarkastellaan myynnin järjestelmässä. Lomakkeen onnistunut lähetys, CRM:ään syntynyt uusi yhteydenotto ja myynnin hyväksymä liidi ovat kolme tarkistettavaa vaihetta. Jos analytiikassa näkyy lähetys mutta myynnillä ei ole yhteydenottoa, selvitä lomakkeen toimitus ennen liikenteen laadun arviointia. Jos sama henkilö lähettää kaksi lomaketta, myynnin raportti tarvitsee sovitun tavan tunnistaa päällekkäisyys. Säilytä yksilöivien asiakastietojen käsittely siihen tarkoitukseen valitussa järjestelmässä.

Laske esimerkki ennen kuin rakennat raportin automaation

Seuraava aineisto on kokonaan kuvitteellinen laskuharjoitus. Molemmat jaksot ovat 28 päivän pituisia. Harjoituksessa oletetaan samat mittausrajaukset ja yksi uusi yhteydenotto kutakin onnistuneen lomakelähetyksen sisältävää istuntoa kohden. Kaikki taulukon yhteydenotot liittyvät tässä harjoituksessa taulukon tunnistettuihin tekoälyistuntoihin. Oletus tekee laskentaketjusta tarkistettavan.

Kuvitteellisessa esimerkissä lähetyksen sisältävien istuntojen osuus laskee 8/40 eli 20 prosentista 9/52 eli noin 17,3 prosenttiin. Hyväksyttyjen yhteydenottojen osuus laskee 4/8 eli 50 prosentista 3/9 eli noin 33,3 prosenttiin. Erot ovat noin 2,7 ja 16,7 prosenttiyksikköä.

Kuvitteellisessa kahden 28 päivän jakson vertailussa Googlen AI-näyttökerrat kasvavat 1 000:sta 1 600:aan, tunnistetut AI-istunnot 40:stä 52:een ja myynnin hyväksymät yhteydenotot vähenevät neljästä kolmeen. Muutokset ovat 60 prosenttia, 30 prosenttia ja miinus 25 prosenttia.

Mittari Jakso A Jakso B Muutos
Googlen tekoälyraportin näyttökerrat 1 000 1 600 +60 %
Bingin lähdeviittaukset 120 180 +50 %
Tunnistetuista tekoälylähteistä tulleet istunnot 40 52 +30 %
Näistä istunnot, joissa lomake lähetettiin onnistuneesti 8 9 +12,5 %
Uudet yksilöidyt yhteydenotot 8 9 +12,5 %
Myynnin palveluun sopiviksi hyväksymät yhteydenotot 4 3 −25 %

Näyttökertojen suhteellinen muutos lasketaan kaavalla (1 600 − 1 000) / 1 000 × 100 = 60 %. Sama laskutapa antaa viittauksille 50 prosentin ja istunnoille 30 prosentin kasvun. Näiden prosenttien vertaaminen rinnakkain auttaa huomaamaan eritahtisen kehityksen. Niistä ei voi päätellä, että juuri näkyvyyden muutos aiheutti käyntien muutoksen.

Onnistuneen lähetyksen sisältävien istuntojen osuus on jaksolla A 8 / 40 × 100 = 20 % ja jaksolla B 9 / 52 × 100 ≈ 17,3 %. Osuus laskee noin 2,7 prosenttiyksikköä, vaikka lähetyksiä sisältävien istuntojen määrä kasvaa yhdellä. Käytä prosenttiosuuden muutoksesta sanaa prosenttiyksikkö, kun vähennät osuudet toisistaan.

Myynnin hyväksymien yhteydenottojen osuus on ensin 4 / 8 × 100 = 50 % ja sitten 3 / 9 × 100 ≈ 33,3 %. Osuus laskee noin 16,7 prosenttiyksikköä. Hyväksyttyjen yhteydenottojen lukumäärän suhteellinen muutos on puolestaan −1 / 4 × 100 = −25 %. Pieni lähtömäärä näkyy tuloksessa voimakkaasti.

Harjoituksessa voidaan laskea myös hyväksyttyjen yhteydenottojen suhde tunnistettuihin istuntoihin. Ensimmäisellä jaksolla suhde on 4 / 40 × 100 = 10 % ja toisella 3 / 52 × 100 ≈ 5,8 %. Ero on noin 4,2 prosenttiyksikköä. Tämä yhdistää kaksi tarkistettavaa vaihetta, lomakkeen toiminnan ja yhteydenottojen laadun. Todellisessa raportissa laskenta edellyttää, että osoittaja ja nimittäjä koskevat samaa käyntijoukkoa ja samaa ajallista rajausta. Muuten houkuttelevakin suhdeluku voi kuvata eri asiakasjoukkoja.

Harjoituksen perusteella seuraava selvitys kohdistuisi yhteydenottojen sisältöön ja laskeutumissivuihin. Myynniltä kysyttäisiin, miksi kuusi jakson B yhteydenottoa jäi hyväksymättä. Syynä voisi olla sopimaton palvelutarve, puuttuva tieto tai muuttunut luokittelu. Seuraavaksi tarkistettaisiin, tulivatko käynnit samasta sisältöjoukosta ja toimiko lomake samalla tavalla.

Luvut eivät vielä ratkaise, pitäisikö sisältöä lisätä, mainontaa kasvattaa tai palvelusivua muuttaa. Ne auttavat valitsemaan täsmällisen kysymyksen. Kaikista uusista yhteydenotoista voi myös puuttua lopullinen myynnin arvio. Silloin keskeneräiset kirjataan omaksi ryhmäkseen ja kauden arvio päivitetään sovittuna päivänä.

Tarkista lisäksi, pysyykö palvelujen jakauma vertailussa samanlaisena. Koko sivuston yhteydenottojen laatu voi muuttua, jos uusi opas tuo aiempaa enemmän kyselyjä palveluun, jossa myynnin hyväksyntä kestää kauemmin. Tarkastele silloin kumpaakin palvelua erikseen ja säilytä myös yhteenveto. Merkitse myynnin arvion odotusaika raporttiin. Ensimmäisen jakson pitkään käsiteltyjen yhteydenottojen vertaaminen vasta saapuneisiin kyselyihin voisi johtaa ennenaikaiseen päätökseen sisällön muuttamisesta. Valitse yrityksen myyntiprosessiin sopiva tarkistuspäivä ja käytä samaa käytäntöä tulevissa katsauksissa. Vanhan jakson myöhempi täydentyminen kuuluu raportin muutoshistoriaan.

Jos lähtöarvo on nolla, tavallinen suhteellisen muutoksen laskukaava ei anna käyttökelpoista prosenttia. Näytä tällöin lukumäärät ja erotus. Jos arvo puuttuu, säilytä puuttuvuus laskennassa. Kumpikaan tilanne ei korjaannu lisäämällä raporttiin houkuttelevan näköistä prosenttilukua.

Tee kysymystesti, jonka pystyt toistamaan

Verkkoraporttien rinnalla voi seurata rajattua joukkoa asiakkaan kysymyksiä valituissa palveluissa. Rakenna joukko myynnin ja asiakaspalvelun todellisista kysymyksistä. Ota mukaan esimerkiksi ongelman ymmärtäminen, toteutustapojen vertailu ja palveluntarjoajan valinta. Kirjaa jokaiselle kysymykselle syy, miksi sen vastaus kiinnostaa yritystä.

Valitse aluksi esimerkiksi 20 kysymystä ja toista jokainen kolme kertaa sovitussa palvelussa. Näin syntyy 60 tallennettavaa vastausta. Kirjaa palvelu, käytössä oleva versio tai käyttötila, päivämäärä, kieli, sijaintiasetus, kysymyksen tarkka sanamuoto ja käytettiinkö uutta keskustelua. Toistot helpottavat vaihtelun havaitsemista. Menetelmä ei poista sitä.

Erottele tuloksista vähintään yritysmaininta, linkki yrityksen sivulle, linkin kohdesivu ja mahdollinen asiavirhe. Maininta voi koskea aivan muuta samannimistä yritystä, joten pelkkä nimen tekstihaku ei riitä tarkistukseksi. Tallenna myös tyhjät havainnot ja tilanteet, joissa palvelu ei käyttänyt verkkohakua.

Otosmittari lasketaan jakamalla maininnan sisältäneiden vastausten määrä kaikkien tallennettujen vastausten määrällä. Pidä eri palvelut omina sarakkeinaan. Jos lisäät seuraavalla kierroksella uusia kysymyksiä, säilytä vanhasta joukosta erillinen vertailu. Näin tiedät, johtuuko muutos vastauksista vai testin rakenteesta.

Kirjoita havainto, selitys ja seuraava tarkistus erilleen

Kuukausikatsauksen lyhyt tulkinta voi sisältää kolme omaa kenttää. Havainto kertoo, mitä aineistossa muuttui. Mahdollinen selitys on tutkittava ajatus muutoksen syystä. Seuraava tarkistus nimeää aineiston tai testin, jolla ajatusta arvioidaan.

Edellisen laskuharjoituksen havainto olisi tunnistettujen istuntojen kasvu ja hyväksyttyjen yhteydenottojen väheneminen. Mahdollinen selitys olisi sivuille saapuvan yleisön muuttuminen. Seuraava tarkistus olisi laskeutumissivujen, yhteydenottojen hylkäyssyiden ja mittaustoteutuksen vertailu. Näin raportti johtaa tekemiseen ilman liian pitkälle vietyä syypäätelmää.

Lisää katsaukseen myös muutosloki. Merkitse tärkeät sisältöpäivitykset, kampanjat, seurannan muutokset, mahdolliset käyttökatkot ja yhteydenottojen luokittelun tarkennukset. Varaa pienelle aineistolle riittävästi aikaa. Yhden kuukauden kolme hyväksyttyä yhteydenottoa voi olla vasta alustava havainto.

Sovi korjaustoimelle havaittava lopputulos. Jos epäily koskee epäselvää palvelurajausta, tarkenna sivulla kenelle palvelu sopii ja tarkista seuraavassa katsauksessa yhteydenottojen syyt. Jos lähetyksiä katoaa, toista hallittu lomaketesti korjauksen jälkeen. Kirjaa kummassakin tapauksessa tekijä ja ajankohta. Usean asian muuttaminen samalla viikolla voi olla liiketoiminnalle tarpeen, mutta silloin yhden muutoksen vaikutuksen erottaminen vaatii lisää havaintoja.

Sovi ylläpito ja ensimmäinen päätöspäivä

Anna jokaiselle tietolähteelle omistaja. Markkinointi ylläpitää sivujen ja kysymysten joukkoa, mittauksesta vastaava tarkistaa tapahtumien toiminnan ja myynti täydentää yhteydenottojen laadun. Raportin ylläpitäjä kirjaa, milloin aineisto poimittiin ja mitkä tiedot olivat vielä keskeneräisiä.

Aloita yhdestä palvelusta ja muutamasta sivusta. Kerää lähtötaso, testaa mittaus ja sovi katsauspäivä. Ensimmäisen katsauksen lopussa pitäisi pystyä nimeämään yksi päätös tai seuraava selvitys. Sen arvo näkyy siinä, auttaako se tekemään sivustosta ja palvelun ostamisesta asiakkaalle selkeämpää.

Xpeditionin analytiikka- ja seurantatyötä voi tarkastella tämän kokonaisuuden osana. Kerro yhteydenotossa, mitä palvelua haluat seurata, mistä tiedot tulevat ja mikä päätös odottaa mittausta. Analytiikka ja seuranta, yhteystiedot.