Täpsus on mõõdetud
Kvaliteet on number, mis tuleb päris näidete peal tehtud testist, mitte tunne.
- Hindamiskomplekt teie päris andmetest
- Mõõdik kokku lepitud enne arendust
- Regressioonitest iga muudatuse järel
Ehitame tehisintellekti sinna, kus see teeb päris tööd: agendid, mis tegutsevad teie süsteemides, keelemudelid, mis vastavad teie andmete põhjal, ja masinõppemudelid, mis ennustavad, klassifitseerivad ja tuvastavad. Iga lahendus algab mõõdikust ja lõpeb tootmises, mitte demos.
Enamik AI-projekte ei ebaõnnestu sellepärast, et mudel oleks halb. Nad jäävad pooleli, sest keegi ei leppinud alguses kokku, mida edu tähendab, andmed ei olnud selleks valmis või demo, mis koosolekul töötas, ei pidanud vastu päris kasutajatele. Tulemuseks on prototüüp, mis maksis palju ja mida keegi ei kasuta.
Meie alustame teisest otsast. Kõigepealt mõõdik: mitu minutit, mitu viga või mitu eurot peab lahendus säästma. Siis kontroll, kas teie andmed seda võimaldavad. Alles siis valime tehnika, olgu see agent, keelemudel teie dokumentide peal või klassikaline masinõppemudel. Mõnikord on vastus, et AI-d ei ole vaja, ja see on ka vastus.
Kuus valdkonda, mis katavad suurema osa sellest, mida ettevõtted tehisintellektilt päriselt vajavad. Sageli on üks projekt mitme kombinatsioon.
Süsteemid, mis viivad mitmesammulise töö lõpuni teie tööriistades: loevad kirja, kontrollivad andmeid, koostavad vastuse ja esitavad selle kinnitamiseks. Iga tööriist on eraldi piiritletud ja pöördumatu samm läheb inimesele.
Otsing ja vastused teie dokumentidest (RAG), kokkuvõtted, dokumentidest andmete väljavõtmine ja klassifitseerimine. Vastus viitab allikale, nii et seda saab kontrollida.
Nõudluse ja müügi prognoos, klientide lahkumise ennustus, pettuste ja kõrvalekallete tuvastus, hinnastamine. Mudel, mille otsust saab selgitada, mitte must kast.
Dokumentide ja arvete lugemine, toodete ja defektide tuvastus piltidelt, kõne tekstiks ja tagasi. Testime eesti keelt eraldi, sest mudelid käsitlevad seda ebaühtlaselt.
Avatud mudeli kohandamine teie andmetel, kui valmis mudel ei anna piisavat täpsust või andmed ei tohi teie taristust lahkuda. Soovitame seda ainult siis, kui lihtsam lahendus on ammendatud.
Hindamiskomplektid, mis mõõdavad kvaliteeti enne ja pärast iga muudatust, mudeli versioonid, monitooring tootmises ja kulude ülemmäärad. Mudel, mida keegi ei jälgi, halveneb vaikselt.
Meeskond pannakse kokku selle järgi, mida projekt vajab. Väike projekt võib olla kaks inimest, suurem kaasab kõik allolevad rollid.
Ehitab keelemudelirakendused, agendid ja nende liidestused teie süsteemidega.
Treenib, hindab ja kohandab mudeleid ning viib need tootmisse.
Analüüsib andmeid, valib meetodi ja mõõdab, kas mudel teeb seda, mida vaja.
Toob andmed kohale ja hoiab need puhtana, et mudelil oleks millest õppida.
Versioonid, monitooring, hindamiskomplektid ja kulude ülemmäärad tootmises.
Seob AI-lahenduse ülejäänud taristuga ning vastutab turbe ja andmekaitse eest.
Mudel on vahetatav osa, mitte arhitektuur. Ehitame nii, et pakkujat saab vahetada ilma kogu lahendust ümber tegemata, sest tänane parim mudel ei ole aasta pärast sama.
Demo, mis töötab, ei ütle veel midagi. Need neli näitavad, kas lahendus on valmis päris tööks.
Kvaliteet on number, mis tuleb päris näidete peal tehtud testist, mitte tunne.
Lahendus teab, mida ta teha tohib ja millal ta peab inimese poole pöörduma.
Mudeli kasutus maksab iga päringu pealt. See peab olema prognoositud ja piiratud.
Lahendus, mis töötab ainult tarnija kontol, ei ole teie lahendus.
Esimesed kaks nädalat on avastus. Valime koos ühe kasutusjuhu, mõõdame praeguse olukorra, vaatame üle andmed ja paneme kirja, mis tulemus oleks edu. Selle lõpus on teil hinnang, kas ja kuidas seda teha, isegi kui otsustate mitte jätkata.
Seejärel ehitame kitsa esimese versiooni ja hindamiskomplekti, mis mõõdab seda päris näidete peal. Lahendus läheb kõigepealt teie oma inimeste kätte, mitte klientide omadesse, ja laieneb alles siis, kui numbrid seda toetavad.
Tootmises jälgime kvaliteeti, kulu ja viivitust ning vaatame regulaarselt läbi juhtumid, kus mudel eksis. Kõik, mis ehitati, on teie kontodel ja repositooriumides.
Kui probleemi lahendab reegel, parem otsing või tavaline automatiseerimine, soovitame seda. See on odavam, kiirem ja töökindlam.
Mudel on väike osa tootest. Ülejäänu on liidestused, õigused, monitooring ja kasutajaliides, ja need ehitab sama meeskond.
Iga muudatus läbib hindamiskomplekti. Te näete numbreid, mitte muljeid.
Valime mudelid ja majutuse nii, et isikuandmed ei lahku EL-ist ega lähe mudeli treenimisse, ning arvestame EL-i AI-määrusega algusest peale.
Ülesandest, mida tehakse palju, mis on korduv ja mille kvaliteeti saab mõõta. Kui te ei suuda praegu mõõta, kui hästi seda tööd tehakse, ei suuda te ka mõõta, kas mudel seda parandas.
Enamasti alustada valmis teenusest ja mõõta. Oma mudel tasub end ära siis, kui maht on suur, andmed on omanäolised või andmed ei tohi ettevõttest väljuda — mitte enne.
Sageli mitte. Klassifitseerimise, prognoosimise ja anomaaliate tuvastamise puhul on väiksem, konkreetne mudel odavam, kiirem ja täpsem. Soovitame keelemudelit siis, kui ülesanne puudutab päriselt vaba teksti.
Hindamiskomplektid enne väljalaset, kindlusläve seadmine, ebakindlate juhtumite suunamine inimesele ja pidev jälgimine toodangus. Ükski neist üksi ei piisa — töötab ainult nende kombinatsioon.
Vähem, kui tavaliselt arvatakse — paljude ülesannete puhul piisab tuhandetest näidetest, kui need on hästi märgendatud. Andmete kvaliteet ja märgendamise järjekindlus mõjutavad tulemust rohkem kui hulk.
Tarkvara, mis kasutab keelemudelit selleks, et ülesanne ise ära teha — mitte selleks, et sellest rääkida. Ta oskab ülesande sammudeks jagada, kasutada tööriistu nagu otsing, API-d või andmebaas, ja otsustada järgmise sammu eelmise tulemuse põhjal.
Praktiline vahe vestlusrobotiga on tagajärgedes. Vestlusrobot annab teile vastuse ja teie otsustate. Agent teeb otsuse ise ja tegutseb: saadab kirja, muudab kirjet, algatab makse. Sama tehnoloogia, täiesti teine riskiprofiil — ja just seepärast on agendi juures kõige olulisem osa see, mida ta teha ei tohi.
Tööriistad on selgelt piiritletud, kirjutamisõigused on eraldi hinnatud ja pöördumatuid toiminguid — makseid, kustutamisi, kliendisuhtlust — kinnitab inimene. Kõik otsused logitakse, nii et hiljem saab järele vaadata, miks midagi juhtus.
See sõltub sellest, milleks agenti kasutatakse. Määrus jaotab kasutusjuhud riskiklassidesse, ja enamik ärisiseseid agente — dokumenditöötlus, sisemine tugi, andmete kokku viimine — jääb madalama nõudlusega osasse, kus peamine kohustus on läbipaistvus: inimene peab teadma, et ta suhtleb tehisintellektiga.
Rangemad nõuded tekivad siis, kui agent mõjutab inimest puudutavaid otsuseid — värbamine, krediidiotsused, ligipääs teenustele. Seal on vaja dokumenteeritud riskihinnangut, inimjärelevalvet ja jälgitavust. Meie töö on see klass alguses välja selgitada ja ehitada nii, et nõuded on täidetud — mitte tagantjärele avastada, et süsteem vajab ümbertegemist. Juriidilist nõu me ei anna, aga ütleme, millal seda küsida tasub.
Kirjeldage oma olukorda paari lausega. Vastame ühe päeva jooksul.
Eelistate otse?