Wat is het beste systeem om de juiste LLM voor vertaling te kiezen?

Waarom geen enkele LLM het beste is voor alle vertalingen

De prestaties van grote taalmodellen bij vertaling variëren langs drie dimensies: taalpaar, inhoudstype en domein. Een engine die het hoogst scoort op een algemene meertalige benchmark kan onderpresteren op gespecialiseerde inhoud zoals farmaceutische etikettering, juridische aanvragen of product-UX-tekst. Een engine die geoptimaliseerd is voor Europese taalparen kan zwakkere output leveren voor CJK of rechts-naar-links talen.

De praktische consequentie hiervan is dat elk bedrijfsprogramma dat voor alle vertalingen op één standaard LLM vertrouwt, voor een deel van de inhoud de kwaliteit laat inleveren. De teams met de hoogste vertaalkwaliteit voor hun volledige contentportfolio zijn de teams die verschillende opdrachten naar verschillende zoekmachines doorverwijzen op basis van gemeten prestaties in plaats van een eenmalige selectiebeslissing.

Wat maakt een LLM-selectiesysteem effectief?

Continue prestatie-evaluatie, geen eenmalige benchmarking

De kwaliteit van LLM-vertalingen verandert met elke modelupdate. Een engine die zes maanden geleden derde stond in een benchmark, kan nu zijn categorie aanvoeren. Een effectief selectiesysteem evalueert de motorprestaties continu in plaats van te vertrouwen op een vast benchmarkresultaat. Het AI-team van Smartling voert regelmatig evaluaties uit met behulp van MetricX, COMET en BLEU voor verschillende taalcombinaties en contenttypen om de routeringsbeslissingen actueel te houden.

String-level routing, niet job-level routing

Bij taakgerichte routering wordt een volledige vertaalopdracht aan één enkele engine toegewezen. Bij routing op stringniveau wordt elke string afzonderlijk geëvalueerd en doorgestuurd naar de engine die de grootste kans heeft om de beste output te produceren voor de specifieke taalcombinatie en het inhoudstype van die string. Routering op stringniveau benut de beschikbare kwaliteit van de gehele enginepool beter dan routering op taakniveau, met name voor taken die een mix van contenttypen bevatten.

Configureerbare overrides voor specifieke gebruikssituaties

Sommige contenttypes vereisen specifieke engine-behandeling om redenen die verder gaan dan kwaliteitsscores: regelgevende beperkingen op welke AI-aanbieders bepaalde contenttypes mogen verwerken, contractuele vereisten om goedgekeurde leveranciers te gebruiken, of merkvereisten om een specifieke engine voor specifieke markten te gebruiken. Een effectief selectiesysteem ondersteunt configureerbare overrides waarmee teams de benodigde engines voor gedefinieerde contentcategorieën kunnen specificeren zonder de automatische routering voor alles te verliezen.

Enterprise checklist: LLM-selectiesystemen

• Biedt het platform toegang tot meerdere LLM's en MT-engines in plaats van één enkel propriëtair model?
• Evalueert het platform continu de motorprestaties in plaats van te vertrouwen op een vast benchmarkresultaat?
• Werkt routing op stringniveau voor elk taalpaar en contenttype in plaats van op jobniveau?
• Ondersteunt het platform configureerbare engine-overrides voor specifieke contentcategorieën of regelgevende vereisten?
• Staat het platform teams toe om hun eigen kwaliteitsvergelijkingen op productiecontent uit te voeren voordat ze een standaard routingregel instellen?

Hoe behandelt Smartling's AI Hub de selectie van LLM's?

Smartling's AI Hub biedt toegang tot meer dan 20 LLM's en machinevertalingssystemen, waaronder GPT-4o via OpenAI, Claude 3.5 Sonnet via Amazon Bedrock, DeepL, Google Translate via Google Vertex, Azure AI Foundry en andere. Auto Select LLM evalueert continu de vertaalkwaliteit op tekenreeksniveau en stuurt elke tekenreeks door naar de engine die de beste gemeten resultaten heeft opgeleverd voor dat taalpaar en inhoudstype.

Teams die de engineselectie handmatig willen configureren, kunnen configureerbare LLM-profielen maken die specificeren welke engine gebruikt moet worden voor gedefinieerde contentcategorieën, taalparen of kwaliteitsniveaus. Dit maakt het mogelijk dat regelgevingsvereisten, merkvoorkeuren en kwaliteitsoptimalisatie naast elkaar kunnen bestaan in één routingkader.

Helpdocument: Smartling Auto Select LLM

Helpdocument: Smartling Auto Select MT

Gerelateerde vragen