Frågan ställs nästan alltid som en principfråga, öppet mot stängt, men i praktiken är det fyra ganska odramatiska faktorer som avgör: hur känslig datan är, hur svår uppgiften är, vad varje ärende får kosta och vem som ska hålla igång det.
Känslig data drar mot egen hårdvara
Om materialet är patientdata, personuppgifter i stor skala eller affärshemligheter som aldrig får lämna huset, är en öppen modell på egen eller hyrd hårdvara inom EU det raka valet. Då lämnar ingenting er miljö, och diskussionen om vilka underbiträden leverantören har blir ointressant.
För de flesta B2B-flöden, där datan är ordernummer, leveransbesked och bolagsnamn, är en modell via API inom EU oftast fullt rimlig, med personuppgiftsbiträdesavtal och tydliga regler för vad som skickas.
Svår uppgift drar mot den starkaste modellen
Ju mer resonemang en uppgift kräver, desto större blir skillnaden mellan modellerna. Att klassificera ett ärende i fem kategorier klarar nästan vad som helst. Att läsa ett avtal, hitta motsägelsen och formulera frågan till motparten gör det inte.
Vår tumregel: börja med den starkaste modellen tills flödet fungerar, mät sedan om en mindre och billigare klarar samma sak. Det är enklare att skala ned när man vet hur bra svar ser ut än att felsöka ett flöde som aldrig har fungerat.
Kostnaden räknas per ärende, inte per månad
Ett API faktureras per token och kostar noll när ingen använder det. Egen hårdvara kostar lika mycket på en söndag som mitt i veckan, men blir billig per ärende vid hög och jämn volym.
Räkna därför på kostnad per ärende i stället för på månadsavgift, och sätt ett kostnadstak oavsett vilket ni väljer. Det är sällan modellen som skenar, det är ett flöde som råkar köras i en loop.
Vem sköter driften?
Öppna modeller innebär att någon måste hålla igång GPU:er, uppdatera, övervaka och felsöka. Har ni den kompetensen internt är det en mindre sak. Har ni den inte blir det en dold kostnad som dyker upp första gången något går sönder en fredagseftermiddag.
Det vanligaste slutläget hos våra kunder är en blandning: en stark modell via API för det som kräver omdöme, en öppen modell för massflöden och för det som absolut inte får lämna huset. Agenten byter mellan dem beroende på uppgift, och det är en konfiguration, inte två projekt.
Vill ni resonera igenom det för er del, boka ett samtal. Vi går igenom era flöden och säger rakt ut var skillnaden i modellval faktiskt märks och var den inte gör det.
Kvalitet mäts på era egna exempel
Jämförelser i allmänhet säger lite. Det som säger något är tjugo verkliga ärenden ur er egen historik, körda genom båda alternativen, bedömda av den som i dag gör uppgiften. Det tar en eftermiddag och avgör frågan bättre än någon benchmark.
Spara den uppsättningen. När en ny modell släpps, eller när ni vill skala ned för att spara pengar, kör ni samma tjugo igen och ser svaret direkt i stället för att gissa.
Inlåsning är ett designval
Bygg flödet så att modellen är en inställning. Ett lager mellan agenten och leverantören, samma format in och ut, och ingen leverantörsspecifik finess i själva logiken. Då blir ett byte en konfigurationsändring i stället för ett projekt.
Det kostar lite extra i början och är det billigaste beslutet ni fattar i hela projektet. Den här marknaden rör sig snabbare än någon upphandlingscykel.
Vanliga frågor
Är öppna modeller sämre? Nej, de är annorlunda. För klassificering, sammanfattning och strukturerad utdata är skillnaden ofta liten. För längre resonemang och känsligt språk märks den fortfarande tydligt.
Måste vi välja en gång för alla? Nej, och vi rekommenderar att ni inte gör det. Bygg flödet så att modellen är en inställning, så är bytet en halvtimme i stället för ett projekt.
Vad gäller för GDPR? Med egen hårdvara lämnar inget er miljö. Med API inom EU behövs personuppgiftsbiträdesavtal och tydliga regler för vad som får skickas. Båda går att göra korrekt, det kräver bara att man bestämmer sig.
Hur vet vi vad det kostar? Räkna per ärende, inte per månad, och sätt ett tak. Vi mäter alltid kostnad per färdigt ärende i piloten, det är den siffra som går att jämföra med dagens hantering.