Nederland heeft vier hoogste rechters. Onze zoekmachine kende er één.

Stel de vraag “de IND gelooft het verhaal van mijn cliënt niet, hoe streng mag de rechter dat oordeel nog nakijken” aan onze zoekmachine, en tot vorige week kreeg je drie strafzaken van de Hoge Raad terug. Over de geloofwaardigheid van getuigen in een strafproces. Geen enkele asielzaak in de top drie.

Dat is geen kleine misser. Het is het gevolg van één verkeerde aanname diep in de code, en die aanname zat er al vanaf het begin in.

Nederland heeft vier hoogste rechters, niet één

Bij het bouwen van een zoekmachine voor rechtspraak moet je kiezen welke uitspraken zwaarder wegen. Wij gaven de Hoge Raad een bonus: wat de hoogste rechter zegt, telt nu eenmaal zwaarder dan een uitspraak van een rechtbank. Logisch.

Alleen is de Hoge Raad niet de enige hoogste rechter van Nederland. In het bestuursrecht zijn dat er drie andere:

• de Afdeling bestuursrechtspraak van de Raad van State — eindrechter in vreemdelingenzaken en algemeen bestuursrecht;
• de Centrale Raad van Beroep — sociale zekerheid en ambtenarenzaken;
• het College van Beroep voor het bedrijfsleven — economisch bestuursrecht.

In onze database staan 98.462 uitspraken van de Afdeling en 87.203 van de Centrale Raad, tegen 50.616 van de Hoge Raad. Samen dus ruim drie keer zoveel. En die kregen allemaal dezelfde weging als een willekeurige rechtbankuitspraak.

Vandaar die strafzaken. Het woord “geloofwaardigheid” komt in het strafrecht net zo vaak voor, alleen gaat het daar over getuigen. De Hoge Raad-arresten kregen hun bonus, de Afdelingsuitspraken over het asielrelaas niet, en het resultaat schoof op naar het verkeerde rechtsgebied.

Hoe we erachter kwamen

Niet doordat iemand klaagde. We wilden weten of de tool goed genoeg was voor de adviseurs van een vluchtelingenorganisatie, en hebben daarom eerst een testset gebouwd: tien vragen zoals een asieladviseur ze stelt, met per vraag de uitspraken die eruit horen te komen, stuk voor stuk opgezocht en gelezen in onze eigen database.

Die set faalde meteen. En dat was precies de bedoeling: onze bestaande testsets gingen allemaal over civiel recht en strafrecht, dus een scheefheid in het bestuursrecht kon jarenlang onzichtbaar blijven.

De Afdeling verwijst naar zichzelf met zaaknummers

Bij het repareren liepen we tegen iets aan dat je alleen vindt als je gaat meten. Onze zoekmachine kijkt ook naar welke uitspraken door andere uitspraken worden aangehaald: wat vaak wordt geciteerd, is meestal het toonaangevende arrest. Dat werkt goed in het civiele recht. Haviltex, het standaardarrest over contractuitleg, wordt in onze database door 1.417 andere uitspraken genoemd. Het Kelderluik-arrest 155 keer.

Maar in het bestuursrecht telde die meting bijna niets. De reden: de Afdeling verwijst naar haar eigen uitspraken met het zaaknummer, niet met het ECLI-nummer. “Zoals de Afdeling eerder heeft overwogen (uitspraak van 28 april 2011 in zaak nr. 201100194/1/V3)” — zo staat het er.

Wij telden alleen ECLI-nummers. De maatstaf voor vreemdelingenbewaring werd daardoor geteld als één verwijzing, terwijl dertien andere uitspraken ernaar verwijzen via het zaaknummer. Sinds deze week tellen we beide.

Wat er is veranderd

Vijf dingen, allemaal gemeten voor en na:

• De Afdeling, de Centrale Raad en het College tellen nu als hoogste rechter.
• Verwijzingen tussen bestuursrechtelijke uitspraken tellen mee, inclusief zaaknummers.
• Vreemdelingenrecht heeft een eigen zoeklijst, zodat een asielvraag niet meer in het strafrecht belandt.
• Een vraag over asiel wordt niet langer behandeld als algemene bestuurszaak — anders concurreert elke belastingzaak mee.
• Een woordpaar telt als vakterm: “interstatelijk vertrouwensbeginsel” is iets anders dan “vertrouwensbeginsel”, en dat verschil zag de zoeker eerst niet.

Op de vraag over Dublin-overdracht stonden er eerst nul vreemdelingenzaken in de top vijf. Nu vijf.

Wat nog niet goed genoeg is

Op zeven van de tien asielvragen bestaat de volledige top vijf nu uit vreemdelingenzaken over precies dat onderwerp. Bij de andere drie zijn dat er drie of vier van de vijf. Dat is beter dan het was, maar het is geen tien uit tien, en we vinden het eerlijker om dat gewoon op te schrijven.

Er kwam ook iets ongemakkelijks uit de meting. In het civiele recht bestaat een canon: iedereen citeert Haviltex. In het vreemdelingenrecht niet. Van de driehonderd uitspraken die letterlijk over de geloofwaardigheid van het asielrelaas gaan, wordt de meest aangehaalde uitspraak welgeteld twee keer genoemd. Er is dus geen handjevol arresten dat je “het kader” kunt noemen — de Afdeling verwijst breed, naar tientallen uitspraken die elk een paar keer terugkomen.

Dat betekent iets voor hoe je zo’n zoekmachine hoort te beoordelen. Wij eisten eerst dat de tool per vraag één specifieke kaderuitspraak bovenhaalde, zoals dat bij Haviltex kan. Voor dit rechtsgebied is dat de verkeerde vraag. Wat een adviseur nodig heeft is: staan er uitspraken over mijn onderwerp bovenaan, uit het juiste rechtsgebied? Daar meten we nu op.

De zaken uit dit stuk

Alle drie opgezocht in onze eigen database, met de uitkomst erbij:

Waarom we dit publiceren

Omdat het onze eigen fout was, en omdat wij vinden dat je dit soort dingen moet kunnen nalezen bij een tool die juridische antwoorden geeft. Hoe we meten en wat er misgaat houden we bij op zo meten wij.

Vanaf nu draait er elke week een controle over alle testsets. Zakt er iets, dan krijgen we een bericht — met de vraag erbij die het niet meer haalt. Zodat de volgende scheefheid geen jaren onzichtbaar blijft, maar een week.

Werk je in het asiel- of vreemdelingenrecht en wil je de zoeker op je eigen praktijkvragen afbranden? Stel je vraag in de juridische chat — de eerste vijf vragen per maand zijn gratis, en meldingen waar het antwoord tekortschiet zijn precies waar we het van leren.

Wat die rechters in hun zaken schreven, telden we door in de meest geciteerde arresten.