Is dit al gefactcheckt? Antwoord met bron

Je geeft Doublecheck een screenshot of een stuk tekst. Uit een beeld leest hij eerst de tekst, in het Nederlands, Engels, Duits, Frans of Spaans. Dan zoekt hij in bijna tachtigduizend gecontroleerde beweringen naar dezelfde bewering, ook als die in een andere taal is geschreven, en geeft hij de factchecks terug met uitgever, datum en link. Het plaatje bovenaan is een voorbeeldbericht dat we zelf maakten; het antwoord ernaast is wat Doublecheck er echt van maakte.

Er zijn drie antwoorden, en meer niet: deze bewering is gecontroleerd door deze uitgevers, er is iets verwants gevonden maar niet dezelfde bewering, of we vonden niets. Een oordeel van ons, een score of een percentage over waarheid zit er niet in. Een browserextensie en een iOS-app om een screenshot te delen liggen als onderdeel klaar in Verifyr, het eerdere experiment dat nu ons onderdelenmagazijn is. Ze komen erbovenop zodra de laag eronder staat.

Elke bewering wordt een rij van 384 getallen in een meertalig taalmodel, zodat dezelfde bewering in het Frans en in het Nederlands dicht bij elkaar ligt. Een match telt pas vanaf een gelijkenis van 0,92, over taalgrenzen heen vanaf 0,85, en tussen 0,80 en de drempel heet hij verwant. Een beeld krijgt daarnaast een vingerafdruk, en een beeld dat lijkt zonder dat de tekst klopt, telt nooit als meer dan verwant. Elk antwoord draagt de drempels en het model waarmee het gemaakt is, zodat je het kunt narekenen.

De 80.555 factchecks van 1.596 uitgevers komen uit de open feed van Data Commons, onder een licentie die doorgeven toestaat. Een taal mag de index pas in als het model hem aantoonbaar kan lezen; drie talen gingen er daarom weer uit. Zoeken loopt nog langs alle beweringen tegelijk: de helft van de vragen is binnen 190 milliseconden klaar en de traagste deed er 479 over, onder de grens van een halve seconde die we onszelf stelden. Bij twee keer zoveel beweringen is dat op, en dan is een echte zoekindex nodig.

Afspraken zijn makkelijk te vergeten, dus staan de belangrijkste in de code. Een factcheck zonder uitgever of zonder link kan de index niet in. Een test loopt elk antwoordmodel in het pakket langs op woorden als waarheid, waarschijnlijkheid en geloofwaardigheid, en valt om zodra er ergens zo'n veld opduikt. Een drempel komt alleen uit de configuratie, en twijfel maakt een drempel nooit ruimer.

Wat een resolver moet doen, staat los beschreven als protocol, met een eigen test die je tegen elke resolver kunt draaien, ook tegen een die iemand anders bouwt. Die test is eerlijk over zijn eigen grenzen: tegen onze resolver zag hij geen schending, maar kwamen vier verplichtingen niet aan bod, en dan zegt hij dat dit geen bewijs is.

Onder elke uitslag kun je hem betwisten. Standaard bewaren we dan alleen een vingerafdruk van wat je instuurde, je toelichting en de uitslag die je betwist. Vink je aan dat we je invoer mogen bewaren, dan houden we hem negentig dagen vast voor foutanalyse, en krijg je een sleutel waarmee je hem eerder kunt laten verwijderen.

Zonder betwisting bewaart Doublecheck je invoer niet. Ook een fout krijgt een eigen tekst: een bestand dat te groot is, een beeld dat niet te lezen is, of een index die met een ander model is gebouwd. In dat laatste geval weigert Doublecheck te zoeken in plaats van te gokken.

In onze eigen meting koppelde de tekstroute 5 van de 1.550 paren verkeerd en de beeldroute 0 van de 4.000, en vond hij 64,8 procent van de paren terug. Precisie gaat bewust voor dekking. De vijf fouten zijn bekend: twee keer een ingekorte bewering, twee keer een verdraaide en één keer een ontkenning, en geen drempel haalt ze weg zonder nieuwe fouten te maken. De beeldroute is gemeten op een eigen testindex, want de open factcheckdata bevat geen beelden. Een bijgesneden beeld herkent hij nog niet.

Op echte data liep een tweede vraag vast: herhaalt een tekst van een taalmodel een weerlegde bewering in eigen woorden? Op 107 echte documenten vond Doublecheck geen van de 28 gevallen, en alle zeven meldingen waren fout, vooral op de factcheckpagina's zelf, die de bewering citeren voordat ze hem weerleggen. Op de 46 documenten die er niets mee te maken hadden kwam geen enkele valse melding. Dit is onderzoek, en zo staat het er ook.