Je kwaliteitsscore zei groen, maar de markt zei anders: inzichten uit de Smartling- en OpenAI-sessie op LocWorld55 Dublin

Een kwaliteitsscore geeft aan of de vertaling een bepaalde controle heeft doorstaan. Het telt fouten, controleert drempels en kijkt achteruit. Het bedrijf vraagt echter iets anders: zijn we klaar om dit naar die markt te brengen?

Dat onderscheid is de breuklijn die momenteel door de meeste lokalisatieprogramma's voor ondernemingen loopt, en het was het centrale argument tijdens een van de best bezochte sessies van LocWorld55 Dublin. De zaal zat vol omdat kunstmatige intelligentie (AI) het verzenden heeft versneld, maar de uitdaging is nu om ervoor te zorgen dat betrouwbaarheid, evaluatie en implementatiepraktijken gelijke tred houden. Dat is immers waar hiaten teams echt geld en marktgeloofwaardigheid kunnen kosten.

Bij LocWorld55 presenteerden Kathy Mok, hoofd lokalisatie bij OpenAI, en Olga Beregovaya, Smartling's VP AI, samen "Would You Ship This?" Vertaalkwaliteit herdefiniëren voor het AI-tijdperk."

Olga Beregovaya (Smartling) en Kathy Mok (OpenAI) op het podium van LocWorld55 Dublin.

Voor degenen die niet in de kamer waren, hier zijn de ideeën die het waard zijn om mee terug te nemen naar je programma:

Wanneer het dashboard liegt (soort van)

Kathy begon met een scenario dat de meeste localisatiemanagers meteen zullen herkennen. Je hebt snel 100 talen gelanceerd. De Multidimensional Quality Metrics (MQM) scorecard is groen, Service Level Agreements (SLA's) worden nagekomen en alle drie de talen hebben hun drempels gehaald. Dan begint de feedback binnen te komen: de Japanse marketing zegt dat het creatieve asset niet goed genoeg is, een Spaanstalige stakeholder markeert de call-to-action (CTA) als laag van kwaliteit, en een growth product manager begint stilletjes op zoek te gaan naar een eigen Frans bureau.

Het oncomfortabele is dat het dashboard nog steeds groen aangeeft. De MQM-score is hier niet het probleem, maar het beantwoorden van de vraag die het moest beantwoorden: of de vertaling een gedefinieerde taalkundige controle heeft doorstaan. Het bedrijf vraagt zich af of deze ervaring klaar is voor een echte markt, met echte gebruikers die echte beslissingen nemen op basis van wat ze lezen, en die twee vragen zijn niet hetzelfde. Ze als gelijk behandelen is precies hoe technisch correcte vertalingen commercieel gebroken ervaringen opleveren.

Kwaliteitsmodellen gebouwd voor een langzamere wereld

Dit betekent niet dat traditionele kwaliteitsmetingen onjuist zijn. Het betekent dat het ontworpen is voor een tempo dat niet meer bestaat. Merken verzenden content nu wereldwijd op een dagelijks tempo, AI-first vertaling is de operationele norm geworden, en leverancierspartners trainen werkprocessen in realtime om bij te blijven. In die omgeving wordt het tellen van fouten na levering hooguit een achterlopende indicator. Tegen de tijd dat een Linguistic Quality Assurance (LQA) review bevestigt dat er iets mis was, is de inhoud vaak al op de markt.

Het diepere probleem is structureel. Traditionele kwaliteitsmodellen vragen beoordelaars om defecten te vinden, maar ze zijn niet ontworpen om te vragen of een bepaald defect ertoe doet, voor wie het van belang is, op welk oppervlak, in welke markt en op welk risiconiveau. Dat gedetailleerde fouttaggingwerk heeft zijn plek, maar voorspelt niet betrouwbaar of een campagne zal converteren, of een veiligheidsbericht wordt vertrouwd, of dat een afrekenflow ertoe zal leiden dat iemand de transactie volledig stopt.

Introductie van verzendbaarheid

Deze verschuiving wordt shippability genoemd: de praktijk om kwaliteitsbeoordeling niet te behandelen als een achterwaarts kijkende defectaudit, maar als een vooruitkijkende lanceringsgereedheidsbeslissing. De kernvraag verandert van "hoeveel fouten hebben we gevonden?" naar "zou een lokale gebruiker dit genoeg vertrouwen om door te gaan?" Het klinkt als een kleine wijziging in de formulering, maar de operationele implicaties zijn aanzienlijk.

Op deze manier verandert de functie van de recensent volledig. In plaats van de taal tegen een taxonomie te controleren, nemen beoordelaars lokaal eigenaarschap over een verzendbeslissing door vier zaken te evalueren:

1. Betekenis (is de oorspronkelijke intentie intact?)
2. Market fit (is dit passend voor deze specifieke doelgroep en context?)
3. Risico (misleidt het, blokkeert het een actie of ondermijnt het vertrouwen?)
4. Actie (wat er daarna gebeurt: het uitbrengen, verbeteren na de lancering, of het vasthouden voor een fix vóór de release)

Die laatste dimensie is belangrijk, want zonder een duidelijk, uitvoerbaar resultaat wordt verzendbaarheid een ander abstract kwaliteitskader dat in de praktijk niets verandert. De drie verzendverzoeken zijn ontworpen om precies dat te voorkomen: repareren vóór verzending, verzenden en dan verbeteren, of klaar om te verzenden. Elk van hen vertelt een team wat ze moeten doen, niet alleen hoe de vertaalde score uitkwam.

De drempel beweegt mee met de markt

Een van de meer praktisch bruikbare argumenten uit de sessie is dat verzendbaarheid geen universele standaard is. Het is een risico-gekalibreerde variant, en het juiste risiconiveau hangt volledig af van wat er vertaald wordt en voor wie het bedoeld is. Een artikel over een hulpcentrum met weinig zichtbaarheid, een betaalde acquisitieheadline, een veiligheidsinstructie en een prijsscherm vertegenwoordigen vier zeer verschillende risicoprofielen. Dezelfde beoordelingsdiepgang toepassen op al deze plekken betekent ofwel te veel investeren in de plekken die het niet rechtvaardigen, of te weinig investeren in de plekken die dat wel doen.

Marktpersona's verschuiven de drempel ook op betekenisvolle wijze. Zo hebben AI-voorzichtige doelgroepen hogere vertrouwenssignalen en een meer doordachte toon nodig, terwijl markten die op het nut gericht zijn taakhelderheid belangrijker vinden dan stilistische afwerking, en kwaliteitsgevoelige locaties hogere verwachtingen hebben van nuance en register. De lokalisatiebeslissingen die goed werken voor het ene doelgroepprofiel kunnen actief slechter presteren voor een ander, daarom is het lokale eigendom van de verzendbaarheidsoproep net zo belangrijk als het hebben van het kader in de eerste plaats.

Hoe Smartling en OpenAI het in de praktijk hebben gebouwd

Olga bracht de tweede helft van de sessie in de operationele realiteit van wat er eigenlijk nodig is om een programma op deze manier te draaien. De samenwerking tussen Smartling en OpenAI begon op 20 locaties, breidde uit naar 60+ en werkt nu volledig verspreid over ChatGPT en het volledige productpakket van OpenAI. Die schaal, als je die snelheid volhoudt, is de echte stresstest voor elk kwaliteitsframework.

De rol van de vertaler moest bijna volledig worden heroverwogen. Binnen het verzendbaarheidsmodel verwerkt een taalkundige geen strings in een wachtrij. In plaats daarvan functioneren ze meer als een productmanager in het land, die de volledige context zonder vooroordelen lezen, deze beoordelen aan de hand van de marktpersona en het risicokader, en vervolgens een duidelijke beslissing nemen en vastleggen. Die beslissingen worden teruggevoerd naar het systeem als signalen die bepalen wat automatiseerbaar is, waar menselijke beoordeling nog steeds de uitkomsten bewerkplaatst en wat er in de loop van de tijd moet veranderen in de onderliggende workflow of modelgedrag.

Smartling bouwde een speciaal ontworpen werkoppervlak om dit model te ondersteunen, een model dat minimalistisch, in eenvoudige taal is en gestructureerd rond de drie verzendoproepen in plaats van traditionele foutcategorisatie. Het ontwerp weerspiegelt de filosofie direct: geen complexe scoreroosters, geen uitgebreide defecttagging. De interface vraagt beoordelaars om in volledige context te lezen, holistisch te beoordelen en te beslissen. Die eenvoud is bewust, want cognitieve overhead in de reviewstap is een van de dingen die programma's vertragen en de kwaliteit van het terugkomende signaal verwateren.

Beginnen zonder volledige programma-heropbouw

De vraag-en-antwoordsessie (Q&A) bracht een voorspelbare zorg naar boven: dit klinkt goed, maar waar begin je eigenlijk? Kathy raadde aan te beginnen met één baan, één markt, één type content, één gewijzigde vraag. In plaats van beoordelaars te vragen hoeveel fouten ze hebben gevonden, vraag je of ze dit naar hun markt zouden sturen. Houd bij wat terugkomt in vier eenvoudige categorieën: 1) schip; 2) nog niet; 3) waarom; en 4) welke actie werd geactiveerd. Dat is het signaal, en het is nuttiger dan een gedetailleerde fouttelling omdat het direct aansluit bij een zakelijke beslissing.

De eigendomsverdeling is ook belangrijk. De klantorganisatie bepaalt de zakelijke context en definieert de risicobereidheid voor elk contenttype en elke markt. De leverancierspartner is verantwoordelijk voor het mogelijk maken van het oordeel, het krijgen van de juiste beoordelaars, het opbouwen van workflows die in het vereiste tempo kunnen werken, en ervoor zorgen dat de tools duidelijke beslissingen ondersteunen in plaats van beoordelaars te belasten met procesoverhead. Beide partijen moeten hun steentje bijdragen, want leveringsgeschiktheidsbeslissingen vereisen iemand die begrijpt wat er commercieel op het spel staat en iemand die het programma zo kan structureren dat die beslissingen consequent op schaal worden genomen.

De data van zelfs een bescheiden pilot begint de werkelijke vorm van risico in een programma aan het licht te brengen: waar teams content overbeoordelen die het niet rechtvaardigt, waar ze content die dat wel rechtvaardigt te weinig beoordelen, en hoe een kwalitatieve strategie die is gebouwd voor hun daadwerkelijke verzendtempo er in de praktijk uit zou zien.

De Blijvende Vraag

De sessie werd afgesloten met een indrukwekkende restaurantanalogie: bedenk dat het menu correct vertaald kan worden, maar de vraag is niet of de woorden kloppen. De vraag is of gasten met vertrouwen zullen bestellen, vertrouwen op wat ze lezen en zich comfortabel genoeg zullen voelen om terug te komen.

Een wat ongemakkelijke uitdrukking in de dessertbeschrijving is een heel ander probleem dan een misverstand over allergenen. Beide zijn technisch gezien fouten, maar slechts één ervan vormt een ernstig risico dat een lancering kan stoppen. Het kennen van het verschil, en het structureren van een kwalitatief goed programma rondom dat onderscheid, is waar verzendbaarheid voor bedoeld is.

Lokalisatiekwaliteit is geen onderwerp van taalverfijning. Het is een onderwerp van lanceringsvertrouwen. De Smartling- en OpenAI-sessie op LocWorld55 bracht dat argument concreet uit, gebaseerd op een echt programma dat op echte schaal draait. Als je huidige kwaliteitsproces niet betrouwbaar kan aangeven of een vertaling klaar is voor de markt, is dat de meest nuttige plek om te beginnen.