Twee stemmodellen, één luistertest
Voor stemmen op de site van een klant lieten we een derde model terugluisteren. Dat wees met cijfers aan welk stemmodel de minste woorden verkeerd uitsprak.
- Getest
- Soort
- AI-workflow
- Voor
- Site van een klant
Wat het opleverde
Woordfouten per opname, gemiddeld
van 10%naar 7,2%
Chatterbox en daarna VoxCPM, elk 12 opnames van dezelfde zinnen. Whisper luistert terug en code vergelijkt woord voor woord. Whisper kan ook zelf misluisteren, vooral bij namen.
Foutloze opnames
van 1 van 12naar 4 van 12
Dezelfde test, opnames met 0% woordfouten.
Naar een externe dienst
0
Inspreken en terugluisteren draaien allebei op onze eigen server.
Wat we maakten
De vraag
Op de site van een klant moesten personages een eigen stem krijgen, in het Nederlands. Bij een stem hoor je een verspreking pas als je alles terugluistert. Dat wordt veel werk zodra je meerdere personages en stijlen wilt vergelijken.
Hoe we het maten
We lieten twee stemmodellen dezelfde twaalf opnames maken, op onze eigen server. Daarna luisterde een derde model elke opname terug en schreef op wat het hoorde. Code legde dat naast de bedoelde zin en telde de verkeerde woorden. Zo werd “welk model klinkt beter” ook een vraag met een getal.
Wat er overbleef
Die test zit nu in elke voice-over die we maken. Wijkt er een woord af, dan wordt de opname opnieuw gemaakt, tot drie keer. Daarna luistert een mens en kiest die welke blijft, en waar het publiek de stem hoort, staat dat het een AI-stem is.
Waar het op draait
- Chatterbox en VoxCPM
- De twee stemmodellen die we naast elkaar testten.
- faster-whisper
- Luistert elke opname terug en schrijft op wat het hoort.
- Eigen controlecode
- Legt wat Whisper hoorde naast de bedoelde zin en berekent het percentage verkeerde woorden.
Waar we hier sterk in zijn
- Modellen kiezen op meting in plaats van op gevoel.
- Het ene model het werk van het andere laten controleren.
- Stemmodellen op eigen hardware draaien.
Zoiets voor jullie?
Vertel ons wat er elke week terugkomt, of wat er beter moet aan je site. Dan zeggen we eerlijk of we er iets aan kunnen doen.