Hoe benchmark je de vertaalkwaliteit tussen GPT, Claude en DeepL?

Waarom benchmarking van vertaalmachines niet eenvoudig is

De prestaties van vertaalmotoren verschillen aanzienlijk per taalpaar, inhoudstype en domein. Een engine die sterke Spaanse marketingteksten produceert, kan ondermaats presteren op het gebied van Japanse technische documentatie. Een benchmark die alleen gebaseerd is op publieke tests, weerspiegelt mogelijk niet de daadwerkelijke inhoud van uw organisatie, wat betekent dat de winnaar in een gestandaardiseerde evaluatie mogelijk niet de winnaar in productie is.

De drie meest voorkomende fouten bij translationbenchmarking zijn het gebruik van een te kleine testset, het toepassen van verschillende evaluatiecriteria op verschillende engines, en het behandelen van een benchmark als een eenmalige beslissing in plaats van een doorlopende meting. De vertaalkwaliteit van LLM's verandert bij elke modelupdate, wat betekent dat een engine die zes maanden geleden derde werd, nu mogelijk beter presteert dan de vorige leider.

Wat meten geautomatiseerde scoringsmethoden eigenlijk

BLEU (Tweetalige Evaluatie Leerling)

BLEU-scores meten de overlap tussen een machinaal vertaalde output en een menselijke referentievertaling, uitgedrukt als een waarde tussen 0 en 1. BLEU is snel en wordt veel gebruikt als basislijn, maar het beloont oppervlakkige woordovereenkomsten in plaats van semantische nauwkeurigheid, wat betekent dat een vloeiende hallucinatie goed kan scoren terwijl een correcte maar anders geformuleerde vertaling slecht scoort. Voor enterprise benchmarking is BLEU nuttig als first-pass filter, maar onvoldoende als zelfstandig kwaliteitssignaal.

MetricX en COMET

MetricX (Google) en COMET (Unbabel) zijn neurale evaluatiemetrics die taalmodellen gebruiken om de vertaalkwaliteit te beoordelen door brontekst, machine-uitvoer en referentievertalingen over semantische dimensies te vergelijken. Beide correeren sterker met menselijk oordeel dan BLEU, vooral bij het detecteren van vloeiende fouten en betekenisverschuivingen. Voor enterprise-programma'szoals het waarderen van LLM-vertaling op grote schaal, bieden MetricX en COMET een betrouwbaarder signaal dan alleen BLEU.

Menselijke evaluatie als validatielaag

Geautomatiseerde meetmethoden beoordelen de vertaalkwaliteit ten opzichte van een referentie. Menselijke beoordelaars evalueren of een vertaling in de juiste context past, de merkidentiteit behoudt en natuurlijk klinkt voor een moedertaalspreker. Voor contenttypen met een hoge impact, zorgt geautomatiseerde benchmarking ervoor dat het aantal kandidaten wordt beperkt, waarna menselijke evaluatie de winnaar valideert voordat een definitieve beslissing over de productieroute wordt genomen.

Hoe voer je een vertaalbenchmark uit die bruikbare resultaten oplevert

• Bouw een representatieve testset. Selecteer 200 tot 500 bronstrings uit je daadwerkelijke productiecontent, inclusief de taalparen, contenttypes en domeinen die je het meest waarderen. Een benchmark gebaseerd op generieke openbare testdata voorspelt niet hoe een engine presteert op je marketingtekst, helpcenter-artikelen of product-UI-strings.
• Voer identieke strings door elke motor. Dien dezelfde bronstrings in bij GPT-4o, Claude 3.5 Sonnet, DeepL en andere engines die worden geëvalueerd zonder voorbewerkingsverschillen tussen hen. Gecontroleerde omstandigheden zijn de enige manier om de motorprestaties te isoleren van andere variabelen.
• Score met MetricX of COMET als primaire metrics. Pas identieke scores toe op alle outputs. Houd scores bij op taalpaar en inhoudstype in plaats van te middelen over alle resultaten, omdat geaggregeerde scores significante variatie per taal kunnen maskeren.
• Gebruik je vertaalgeheugen en woordenlijst voordat je gaat vergelijken. De kwaliteit van de enterprise-vertaling hangt deels af van hoe goed een engine integreert met je bestaande taalkundige assets. Benchmark engines onder omstandigheden die je woordenlijst en TM omvatten in plaats van de ruwe motoroutput geïsoleerd te evalueren.
• Plan voor voortdurende metingen. De vertaalmogelijkheden van LLM veranderen met elke modelrelease. Een benchmarkrun is een momentopname van het moment. Teams die taken routeren op basis van continue prestatiegegevens in plaats van één enkele benchmarkbeslissing, behouden de kwaliteit in de loop van de tijd een betere kwaliteit.

Hoe gaat Smartling om met engine benchmarking en routing?

De AI-hub van Smartling evalueert de vertaalkwaliteit van meer dan 20 LLM's en machinevertalingssystemen, waaronder GPT-4o, Claude 3.5 Sonnet, DeepL, Amazon Bedrock, Google Vertex en andere. Het AI-team van Smartling voert regelmatig benchmarktests uit met behulp van MetricX, COMET en BLEU om de prestaties van de engine te evalueren voor verschillende soorten content en taalcombinaties. De resultaten vormen de basis voor Smartling's Auto Select-routering, die elke tekenreeks toewijst aan de best presterende engine voor het specifieke taalpaar en inhoudstype, in plaats van één engine universeel toe te passen.

Voor enterprise-teams die hun eigen vergelijkingen willen uitvoeren, ondersteunt het Smartling-platform configureerbare LLM-profielen waarmee teams verschillende engineconfiguraties op productiecontent kunnen testen voordat ze een standaard routingregel instellen.

Helpdocument: Smartling Auto Select MT

Helpdocument: Smartling Auto Select LLM

Gerelateerde vragen