Amazon laat tickets labelen door een klein model dat alleen kiest
Twee engineers van Amazon vervingen Claude Sonnet 4.6 door een klein beslismodel, volgens hun eigen cijfers 44 keer goedkoper per ticket. Twee dagen later kwam Google met een vergelijkbare dienst.
Wat er gebeurde
Twee engineers van Amazon hebben het labelen van tickets weggehaald bij Claude Sonnet 4.6 en overgedragen aan een klein model dat geen tekst schrijft, maar alleen kiest. Volgens hun eigen cijfers kost het per ticket zo’n 44 keer minder en is het bijna vijf keer zo snel.
Carr Onstott en Mehul Jaiswal werken aan een van de grootste interne ticketsystemen van Amazon. Elk ticket, van een escalatie van een klant tot een melding uit een beveiligingsscan, krijgt een van 20 categorieën. Dat deed Sonnet, met bij elk ticket een lange instructie. Op 9 november beschreven ze op het blog van Strands, een open-source project van Amazon, hoe ze dat vervingen door Strands Decider E4B: een beslismodel op basis van Gemma 4, het open model van Google. Het krijgt het ticket met de categorieën als opties, en geeft per optie een kans terug plus een score voor hoe zeker het is.
De gemiddelde aanroep ging van 4.215 naar 897 milliseconden, de kosten van 0,0222 naar ongeveer 0,0005 dollar per ticket. De overstap liep via een schakelaar met drie standen: alleen Sonnet, allebei tegelijk op echt verkeer, waarbij Sonnet bleef beslissen en het team elk verschil beoordeelde, en alleen het kleine model. Terugschakelen kost 45 seconden. Op een aparte set tickets deed het kleine model het volgens het team beter dan Sonnet. Cijfers over de nauwkeurigheid, het aantal tickets of de totale besparing staan er niet bij; het blog spreekt van miljoenen dollars per jaar.
Op 11 november kwam Google met de Gemini Decisions API en het model Gemini Decision 1. Daarmee stel je tot 1.000 vragen tegelijk over één invoer: ja of nee, een keuze uit opties of een score op een schaal. Een antwoord duurt volgens Google 150 tot 250 milliseconden, en je betaalt 0,10 dollar per miljoen tokens invoer en niets voor de uitvoer. Google Search gebruikt het als beveiligingslaag voor MCP-tools, de koppelingen waarmee AI-agents andere software gebruiken. Op het techforum Hacker News kreeg het verhaal van Amazon 727 punten; sceptici noemden het een gewoon classificatiemodel of reclame voor AWS.
“Wat we los van het model altijd zouden overnemen, is de schakelaar met drie standen.”
Carr Onstott en Mehul Jaiswal van Amazon in hun blog van 9 november 2026, vertaald
De achtergrond
Kiezen is iets anders dan schrijven
Een taalmodel als Sonnet schrijft zijn antwoord token voor token, stukjes van een paar letters, en voor elk token rekent het hele model opnieuw. Voor één label schreef Sonnet zo’n 170 tokens aan JSON en uitleg. Een beslismodel slaat dat over. Voor de eerste versie nam Amazon het open model Qwen3.5-2B en verving het onderdeel dat tekst maakt door een klein stuk van ruim een miljoen parameters. Dat geeft alle opties in één rekenronde een score. Het model kan letterlijk niets anders dan kiezen.
Klassieke classificatiemodellen, zoals de BERT-modellen waarmee teksten al jaren worden ingedeeld, train je per taak op gelabelde voorbeelden. Bij een beslismodel beschrijf je de opties gewoon in een zin of twee.
Een golf van beslismodellen
Het idee kreeg dit najaar vaart. In september kwam TypeSafe, het bedrijf van oud-OpenAI-medewerker Diogo Almeida, met Jev, een model dat alleen vragen met vaste antwoorden beantwoordt. Volgens The Batch volgden er snel navolgers. Bij Amazon bouwde engineer Marc Brooker een eigen versie, die op 1 oktober uitkwam als Strands Decider 2B.
Op 15 oktober volgden vier versies op basis van Gemma 4, dat Google in april als open model uitbracht. Ze zijn getraind met distillatie: een groter model, Qwen3.5-4B, gaf de voorbeeldantwoorden, en alleen waar die klopten met het juiste label, leerde het kleine model ervan.
Hoe de rekening werkt
Bij een AI-dienst betaal je per token. Sonnet 4.6 kost 3 dollar per miljoen tokens invoer en 15 dollar per miljoen uitvoer. Per ticket gingen er 6.554 tokens in en 170 uit: samen 2,22 cent. Het kleine model krijgt 2.009 tokens en geeft er 1 terug.
Maar het draait op een eigen server, en die betaal je per uur, of er nu tickets komen of niet: 1,408 dollar per uur voor een server met één Nvidia A10G-videokaart van 24 GB, waarvan het model zo’n 19 GiB gebruikt. Op volle kracht verwerkt die ongeveer 5.600 tickets per uur, zo’n 250 dollar per miljoen tickets. Met ruimte voor pieken rekent het team met 500 dollar.
Onze analyse
Voor een vaste keuze is een model dat schrijft duur gereedschap
Veel organisaties zetten een groot taalmodel in voor kleine, gesloten keuzes: een mail labelen, een verzoek doorsturen, een factuur langs regels leggen. Dat is logisch, want het werkt meteen en zonder trainingsdata. Maar bij grote aantallen betaal je voor schrijfwerk dat niemand leest, en vooral voor de lange instructie die je elke keer opnieuw meestuurt. Onze inschatting: het werk gaat zich splitsen. Grote modellen schrijven en redeneren, kleine modellen nemen de vele kleine beslissingen, steeds vaker op hardware die de organisatie zelf in de hand heeft.
Neem de factor 44 niet over als maatstaf. Hij zet de catalogusprijs van Sonnet tegenover een eigen server die goed bezet is. Amazon betaalt intern vermoedelijk minder, en het blog zegt niet of de vaste instructie uit een cache kwam; bij Anthropic kost een stuk prompt uit de cache een tiende van de gewone prijs. Cijfers over nauwkeurigheid ontbreken. En het team zegt zelf waar het niet past: bij categorieën die vaak veranderen of taken die een uitleg vragen.
Het bruikbaarste deel is de overstap zelf: het oude en het nieuwe model naast elkaar op echt werk, elk verschil bekeken en een weg terug. Stuur twijfelgevallen op basis van de zekerheidsscore door naar een collega of een groot model.
Wat opvalt
- De volgorde van sleutels telde Dezelfde inhoud met de JSON-sleutels in een andere volgorde verschoof de kansen tot 0,19. Het team sorteert de sleutels nu bij elk verzoek.
- Het geld zat in de vraag Van de 2,22 cent per ticket bij Sonnet ging bijna 2 cent naar de invoer, rekenen wij uit de cijfers van het blog.
- Miljoenen vraagt tientallen miljoenen tickets Per miljoen tickets scheelt het ruim 21.000 dollar. Voor één miljoen dollar per jaar zijn dus zo’n 46 miljoen tickets nodig, is onze rekensom.
- Google zet het in als poortwachter Google Search laat zijn beslismodel het verkeer naar MCP-tools controleren op misbruik.
Wat het voor jou betekent
Laten jullie een groot AI-model een vaste keuze maken, dan betalen jullie voor tekst die niemand leest.
- Zoek de vaste keuzes Een mail labelen, een verzoek naar de juiste afdeling sturen, een factuur langs vaste regels leggen: elke stap met een vaste lijst antwoorden komt in aanmerking.
- Test naast elkaar op echt werk Laat het oude en het nieuwe model een tijd tegelijk draaien, bekijk elk verschil en zorg dat je binnen een minuut terug kunt.
- Een klein model kan in huis draaien Een model voor één taak past vaak op één videokaart. Dan gaan de gegevens de deur niet uit en betaal je niet per vraag.
Wat wij ermee kunnen · Ontwikkeling
We ontwikkelen een eigen model voor één taak
Met AI Model Engineering kiezen we per taak de beste open-weight basis en verfijnen we die, onder meer met distillatie, tot een model dat één ding goed doet. We testen het op data die het nooit heeft gezien, en het draait op jullie eigen hardware, zonder kosten per vraag. We beginnen met een haalbaarheidscheck van de taak.
Welke vaste keuze laat jij nu nog door een groot model maken?
Vertel ons om welke stap het gaat en hoe vaak die voorkomt. We denken met je mee en reageren altijd binnen één werkdag.