De ce eșuează proiectele AI în firmele mici, și ce au făcut altfel cele care au funcționat

Cifra pe care o citează toată lumea, citită cum trebuie

Ați văzut titlul: 95% dintre proiectele AI din corporații nu aduc nimic. Vine dintr-un singur studiu, este o constatare reală și aproape fiecare articol care o repetă greșește la cine se referă. Iată ce a măsurat.

A numărat organizații mari, nu firme ca a dumneavoastră. 150 de interviuri cu directori, un sondaj pe 350 de angajați și 300 de implementări făcute publice, toate la nivel de corporație. Este o constatare despre programele cu AI generativ din companiile mari. Nu este o constatare că tehnologia nu funcționează și nu este o previziune că o firmă de douăzeci de oameni care pune un agent pe telefon va eșua în nouăsprezece cazuri din douăzeci.

A doua cifră, cei mai mulți o atribuie autorului greșit. Căutați rate de eșec ale proiectelor AI și veți citi că RAND a descoperit că peste 80% dintre proiectele AI eșuează. Deschideți raportul și găsiți propoziția în introducere, cu o notă de subsol către un comentariu de revistă.

Ce a făcut RAND de fapt este mai util decât cifra pe care a împrumutat-o. 65 de interviuri cu specialiști în date și cu ingineri cu cel puțin cinci ani de experiență, luate între august și decembrie 2023, din care au ieșit cinci cauze fundamentale. Patru din cele cinci sunt organizatorice: problema greșită, datele greșite, alergatul după tehnologie în loc de utilizator și o infrastructură care nu poate duce un model pus în funcțiune. Doar a cincea ține de limitele tehnologiei în sine.

A treia cifră spune că eșecurile sunt observate și că cineva acționează. Rata de abandon a urcat mult într-un singur an, iar semnalul este mai sănătos decât pare: firmele opresc acum ce nu funcționează, în loc să le lase pornite.

Citiți-le pe cele trei împreună și forma se vede limpede. Eșecul este frecvent, este în creștere și este covârșitor organizatoric. Fiecare dintre aceste studii a privit companii mult mai mari decât a dumneavoastră, ceea ce limitează ce pot dovedi și, în același timp, deschide o portiță: cauzele pe care le numesc sunt mai ieftin de evitat la douăzeci de oameni decât la douăzeci de mii, pentru că la douăzeci de oameni cel care decide este și cel care vede cum merge.

Cele cinci feluri în care lucrurile chiar merg prost

Fiecare tipar de mai jos arată întâi cum se vede din interiorul firmei, apoi ce au făcut în schimb proiectele care au funcționat. Niciunul nu este exotic. Fiecare se decide în primele două săptămâni, de obicei într-o discuție pe care nu a scris-o nimeni.

Unu: nu a existat niciodată o cifră de pornire. Proiectul a fost aprobat pe senzația că ceva merge încet și este judecat un an mai târziu pe altă senzație. Nimeni nu poate spune cât costa telefonul înainte, deci nimeni nu poate spune cât costă acum, iar linia din buget pierde în tăcere următoarea discuție despre bani în fața a ceva care poate arăta o cifră. Este cel mai frecvent dintre cele cinci și cel mai ieftin de evitat.

Doi: după pornire nu a mai răspuns nimeni de el. Construcția s-a terminat, furnizorul a plecat, iar automatizarea a devenit a tuturor și deci a nimănui. Șase săptămâni mai târziu s-a schimbat un program de lucru sau s-a mutat o listă de prețuri, iar agentul a început să dea un răspuns care fusese cândva corect. Nimeni nu avea sarcina să observe, așa că remediul a fost să îl oprească.

Trei: a stat lângă muncă, în loc să fie în ea. Automatizarea scotea ceva corect și apoi cineva trebuia să îl copieze în sistemul unde se face de fapt munca. Copierea aceea este taxa care omoară folosirea: este destul de mică cât să nu se plângă nimeni și destul de mare cât oamenii să se lase în mai puțin de o lună. Un instrument care stă într-un tab separat este un instrument abandonat într-o săptămână aglomerată.

Patru: perimetrul a fost ales pentru că era interesant. Chatbotul de pe site, clasificatorul de documente, lucrul care se demonstrează frumos. Nimic din toate acestea nu a atins telefonul care sună în gol la ora 14:00. Interesul este un indiciu prost pentru cost, iar sarcinile pe care oamenii le găsesc interesante de automatizat nu sunt aproape niciodată sarcinile care pierd banii în tăcere.

Cinci: nu exista cale de întoarcere. Procesul vechi a fost oprit chiar în ziua punerii în funcțiune a celui nou, așa că prima săptămână proastă a devenit o urgență, nu o decizie. Firmele care nu au unde să se retragă nu pot încerca nimic, iar firmele care nu pot încerca ajung să apere o construcție pe care nimeni nu o poate dovedi, în loc să o oprească.

De ce o firmă mică nu poate duce genul de proiect descris în acele studii

Studiile de mai sus descriu un format de proiect pe care nu vi-l permiteți și nici nu ar trebui să vi-l doriți. Un program exploratoriu de șase luni, cu un comitet de coordonare, este felul în care o companie mare află dacă merită să facă un lucru. O firmă de douăzeci de oameni are nevoie de un format mai mic și mai tăios, iar acela trebuie să dea un răspuns oricum ar fi.

1. O singură pierdere, numită dinainte. Nu un departament și nu o categorie. Apelul fără răspuns, primul răspuns dat abia a doua zi, intervalul care rămâne gol, documentul pe care îl retastează cineva. Dacă pierdeți bani în două locuri, luați-o pe cea mai mare și lăsați-o pe cealaltă în pace până când aceasta se dovedește.
2. O singură cifră, scoasă înainte să înceapă construcția. Din propriul jurnal de apeluri, din calendar sau din căsuța de e-mail, nu dintr-o medie pe industrie. Nu trebuie să fie exactă. Trebuie să fie a dumneavoastră și trebuie să fie scrisă acolo unde o văd ambele părți, pentru că rezultatul se va compara cu ea.
3. Un singur test de acceptanță, scris de cel care plătește. O propoziție care face din asta un succes, în cuvintele dumneavoastră, înainte să construiască cineva ceva. Dacă cel care cumpără nu poate scrie propoziția aceea, proiectul nu are linie de sosire și se va discuta în contradictoriu în loc să se măsoare. Când o scrie furnizorul în locul dvs., acela este tiparul de eșec îmbrăcat în amabilitate.
4. O cale de întoarcere, testată, nu promisă. Traseul vechi rămâne configurat, cineva chiar a comutat înapoi o dată în timpul construcției, iar cele două săptămâni pe care le-ar costa abandonarea întregii lucrări sunt un preț pe care l-ați acceptat înainte să începeți.

Lista aceea este contractul nostru de livrare, nu o teorie despre eșecurile altora. Așa arată o primă construcție la noi: 10 zile lucrătoare până la o primă versiune funcțională, o singură pierdere, o singură cifră, un test de acceptanță în cuvintele dumneavoastră și traseul vechi rămas pornit dedesubt. Am scris-o așa pentru că exact aceste cinci tipare le-am văzut întâmplându-se unor firme înainte să ne sune.

Bilanțul, inclusiv cel pentru proiectul care nu a funcționat

Un prim proiect care nu poate eșua cinstit nu este o încercare, este o cumpărătură. Așa că la capătul lui stă un scurt bilanț scris, cu patru întrebări, și se scrie fie că rezultatul a fost bun, fie că a fost prost. Partea aceasta nu o face aproape nimeni și de aceea au atâtea firme un sertar plin de automatizări de care nu poate da nimeni socoteală.

• Cât era cifra înainte și cât este acum? Aceeași măsură, luată în același fel, pe o perioadă comparabilă. Dacă măsurătoarea s-a schimbat pe parcurs, scrieți asta în bilanț, în loc să alegeți varianta care flatează rezultatul.
• Ce a transferat automatizarea către un om și de ce? Transferurile nu sunt eșecuri, sunt construcția care își face treaba. Motivele însă sunt o hartă: dacă un sfert dintre apeluri se transferă din același motiv, motivul acela este fie următoarea regulă de scris, fie marginea a ceea ce merită automatizat.
• Ce s-a stricat și cât a durat până a observat cineva? A doua jumătate contează mai mult decât prima. O defecțiune observată în prima oră este un incident. Aceeași defecțiune observată abia după cinci săptămâni este o problemă de măsurare, iar remediul este monitorizarea, nu software-ul.
• Extindem, ținem sau oprim? Toate trei sunt în regulă și doar două îi rămân la îndemână unei firme care nu și-a scris niciodată cifra. Oprirea nu înseamnă două săptămâni aruncate: este cel mai ieftin răspuns adevărat pe care îl veți primi la o întrebare care altfel costă trei ani în care nu mai aveți încredere în nimic din toate acestea.

Ceea ce readuce tot argumentul înainte de construcție, adică acolo unde îi este locul. Cea mai mare parte din ce merge prost se decide prin pierderea pe care o alegeți și prin cifra pe care o scrieți, iar amândouă se pot citi din afară. Check-ul de 29 € vă citește căile de apel, căile de răspuns, căile de programare și căile documentelor în aceeași zi și se întoarce cu candidații ordonați și cu socoteala la vedere, ca primul proiect să fie ales după dovezi, nu după care demonstrație a fost cea mai convingătoare.