Is dit al gefactcheckt? Antwoord met bron

Het screenshot over de zonnebril maakten we zelf als voorbeeld, en we stuurden het naar Doublecheck. Hij las de tekst uit het beeld en vond drie factchecks van twee uitgevers. TheJournal.ie schreef in het Engels, dpa in het Frans en in het Nederlands, elk met een datum en een link naar de bron.

Dat lezen lukt in het Nederlands, Engels, Duits, Frans en Spaans. Daarna zoekt Doublecheck in bijna tachtigduizend gecontroleerde beweringen naar dezelfde bewering, ook in een andere taal. Er zijn drie antwoorden: gecontroleerd door deze uitgevers, iets verwants gevonden, of niets gevonden. Of iets waar is, zegt Doublecheck zelf nooit.

Bij de Nederlandse zin over heet water vond Doublecheck een Engelse factcheck, met een gelijkenis van 0,937. Dat kan omdat elke bewering in een meertalig taalmodel een rij van 384 getallen wordt. Dezelfde bewering ligt dan in het Frans en in het Nederlands dicht bij elkaar.

Een match telt pas vanaf een gelijkenis van 0,92, en tussen twee talen vanaf 0,85. Tussen 0,80 en de drempel heet een bewering verwant, en dan blijft het oordeel van de factchecker weg. Elk antwoord draagt de drempels en het model waarmee het gemaakt is, zodat je het kunt narekenen.

De 80.555 factchecks van 1.596 uitgevers komen uit de open feed van Data Commons, onder een licentie die doorgeven toestaat. Een taal mag pas in de index als het model hem aantoonbaar kan lezen. Drie talen gingen er daarom weer uit. Zoeken loopt nog langs alle beweringen tegelijk. De traagste vraag deed er 479 milliseconden over, net onder de halve seconde die we onszelf als grens stelden. Bij twee keer zoveel beweringen is een echte zoekindex nodig.

Een test loopt elke vorm van antwoord langs op velden als waarheid, waarschijnlijkheid of geloofwaardigheid. Staat er ergens zo'n veld, dan valt de test om. Afspraken zijn makkelijk te vergeten, dus staan de belangrijkste in de code. Een factcheck zonder uitgever of zonder link kan de index niet in. Een drempel komt alleen uit de configuratie, en twijfel maakt een drempel nooit ruimer. Is de index met een ander model gebouwd, dan weigert Doublecheck te zoeken.

Wat een zoeklaag als Doublecheck moet doen, staat los beschreven als protocol. Daar hoort een eigen test bij, die je tegen elke zoeklaag kunt draaien, ook tegen een die iemand anders bouwt. Tegen Doublecheck vond de test geen schending. Vier verplichtingen kwamen niet aan bod, en dat meldt hij er zelf bij: dit is geen bewijs.

Wat je instuurt, bewaart Doublecheck niet. Alleen als je een uitslag betwist, houden we iets vast: een vingerafdruk van je invoer, je toelichting en de uitslag. Je invoer zelf bewaren we pas als je dat aanvinkt, negentig dagen lang voor foutanalyse. Je krijgt er een sleutel bij waarmee je hem eerder laat verwijderen.

In onze eigen meting koppelde de tekstroute 5 van de 1.550 paren verkeerd, en de beeldroute 0 van de 4.000. Doublecheck vond 64,8 procent van de paren terug. Dat is bewust, want hij laat liever een factcheck liggen dan dat hij de verkeerde koppelt. De vijf fouten zijn bekend: twee keer een ingekorte bewering, twee keer een verdraaide en één keer een ontkenning. Geen drempel haalt ze weg zonder nieuwe fouten te maken.

De beeldroute is gemeten op een eigen testindex, want de open factcheckdata bevat geen beelden. Een bijgesneden beeld herkent Doublecheck nog niet.

Een tweede vraag is nog onderzoek: herhaalt een tekst van een taalmodel een weerlegde bewering in eigen woorden? In 107 echte documenten vond Doublecheck geen van de 28 gevallen, en alle zeven meldingen waren fout. Ze stonden vooral op factcheckpagina's, die de bewering citeren voordat ze hem weerleggen. In de 46 documenten die er niets mee te maken hadden, kwam geen enkele valse melding.