Keuring rondleiding voor beoordelaars
Begin met keuren

Een taalmodel wordt wat het leest. Jij kijkt wat erin gaat.

Boterham is een Nederlands taalmodel dat alleen leert van tekst die vrij te gebruiken is: wetten, Kamerstukken, Wikipedia, open lesmateriaal. Filters halen er al veel rommel uit, maar een filter ziet alleen de fouten waar het op gebouwd is. Daarom kijken mensen mee. Jouw oordeel wordt per bron opgeteld tot een afkeurpercentage, en dat bepaalt welk filter als eerste beter moet.

Keuringsanne: 41 geoordeeld33 goed / 5 twijfel / 3 weg
finetuningNederlandswikifeitwikipedia216 tekens
Wat het model te lezen krijgt
<|gebruiker|>
Goedemorgen, wie is Geeraard Van Den Daele eigenlijk?
<|boterham|>
Wat het model leert antwoorden
Geeraard Léonce (Gerard) Van den Daele (Kortrijk, 21 juli 1908 – Gent, 1 oktober 1984) was een Belgisch politicus voor de CVP.<|einde|>
qniet-in-tekstwantwoord-foutevraag-onzin
1 goed2 twijfel3 weg
wat je te zien krijgt

Vier soorten tekst, om de beurt

Het model leert in twee rondes. Eerst leest het heel veel gewone tekst (pretraining), daarna oefent het met vragen en antwoorden (finetuning). Allebei in het Nederlands en in het Engels. Het scherm wisselt ze af, zodat je van alles wat ziet.

Nederlands
Engels

Pretraining

Eén document. Lees of het nette, lopende tekst is.

Kamerstukken, rechtspraak, wetten, Wikipedia, het Belgisch Staatsblad, open lesmateriaal.

let op: kopteksten, menu's, verhaspelde letters

Engelse Wikipedia, open-access boeken, wetenschappelijke artikelen, oude romans.

let op: of het echt Engels is, en leesbaar

Finetuning

Een vraag en het antwoord dat het model moet leren geven.

Leesvragen bij een tekst, sommen, meerkeuze, samenvattingen van vonnissen, en vragen waarop het eerlijk "ik weet het niet" moet zeggen.

let op: klopt het antwoord, en staat het in de tekst

Rekenopgaven met uitwerking, gesprekken, vertalingen tussen Nederlands en Engels.

let op: klopt de som, klopt de vertaling
het scherm

Een rondgang langs het scherm

Je ziet steeds één item. Oordeel, en het volgende staat er meteen.

Keuringsanne: 42 geoordeeld34 goed / 5 twijfel / 3 weg
pretrainingEngelswikinews_encc-by-2.51.157 tekens
Trial of alleged Brazilian "chainsaw massacre" deputy begins

The trial of the former Brazilian deputy Hildebrando Pascoal was scheduled to began on March 8 at 8:30 AM in Brasília. However the trial began about an hour later, because Pascoal needed to talk to his lawyer.

Pascoal has been in jail for about 6 years.

Sources
qkopregelwnavigatiedleeg
1 goed2 twijfel3 weg
1 2 3 4 5
  1. Je tellerHoeveel jij hebt geoordeeld, en hoe dat verdeeld is. Iedereen heeft een eigen teller op naam.
  2. De labelsPaars zegt of het pretraining of finetuning is, geel uit welke bron of taak het komt. Daarnaast de taal, de licentie en de lengte.
  3. De hele tekstEr wordt niets afgekapt, dus een lang document is echt lang. Scroll door tot "einde van het document": juist onderaan staan vaak voetteksten en rommel. Dit voorbeeld is voor de uitleg ingekort, en het losse woord "Sources" aan het eind is zo'n restje.
  4. Redenen, als het niet goed isKlik een of meer redenen aan, of druk de letter. Bij "goed" hoeft er geen reden bij.
  5. Je oordeelGoed, twijfel of weg. Klikken of 1, 2, 3. Daarmee gaat het oordeel meteen weg en komt het volgende item.
oordelen

Goed, twijfel of weg

De vraag is steeds dezelfde: zou je willen dat het model precies dit leert? Of het onderwerp je interesseert doet er niet toe.

1goed

Leesbare tekst of een kloppend antwoord. Mag zo in de training.

  • saai of ambtelijk is prima
  • een kleine typefout mag
  • ouderwets maar correct Nederlands mag

2twijfel

Grotendeels in orde, maar er zit iets in dat je niet zeker weet.

  • een stukje menu of kopregel in verder goede tekst
  • antwoord klopt waarschijnlijk, maar je kunt het niet nagaan

3weg

Dit zou het model iets verkeerds leren, of het is geen tekst.

  • fout antwoord, of een som die niet klopt
  • verhaspelde letters, lege tabellen, formulieren
  • een naam of adres dat weg had gemoeten
redenen

Welke letter bij welke fout

De knoppen onderaan passen zich aan het soort item aan. Houd je muis boven een knop voor deze uitleg.

Pretraining: een document

qkopregelkop- of voettekst van de bron staat er nog in
wnavigatiemenu, kruimelpad, cookiemelding of knoptekst
esjablooninvulformulier waarvan alleen de getallen verschillen
rocrletterherkenning verhaspeld, losse letters, rare spaties
topmaaktabel of lijst plat geslagen tot onleesbare tekst
ytaalniet de taal die erboven staat, of half vertaald
apiinaam, adres of nummer dat weggehaald had moeten worden
sdubbelvrijwel gelijk aan iets dat je net gezien hebt
dleegte kort of zonder inhoud
fspellingspelling van voor 1947, of anderszins verouderd

Finetuning: vraag en antwoord

qniet-in-tekstantwoord staat niet in de meegegeven tekst
wantwoord-foutantwoord is inhoudelijk onjuist
evraag-onzinde vraag slaat nergens op of is onbeantwoordbaar
rte-makkelijkantwoord is uit de vraag zelf af te lezen
tvormantwoord volgt de gevraagde vorm niet
ydenkstaphet denkblok klopt niet of hoort er niet
aonthoudingzegt onterecht dat het iets niet weet
smoest-zwijgengeeft een antwoord terwijl het niet kon weten
drommelbrontekst is onleesbaar, dus de taak deugt ook niet
fdubbelvrijwel gelijk aan iets dat je net gezien hebt

Tekens als <|gebruiker|>, <|denken|> en <|einde|> horen erbij. Ze vertellen het model wie er praat en waar het nadenkt. Die hoef je niet af te keuren.

oefenen

Probeer het met vier echte voorbeelden

Dit zijn items uit de keuring zelf. Wat je hier kiest wordt nergens opgeslagen, dus je kunt rustig uitproberen hoe de toetsen werken.

Keuringoefenen: 0 van 4
goed om te weten

Voor je begint

Je naam

Bij de eerste keer vraagt de pagina je voornaam. Die staat bij je oordelen en wordt in je browser onthouden.

Het houdt niet op

Er komen steeds nieuwe teksten bij. Stop wanneer je wilt; alles wat je al gedaan hebt is bewaard.

Vergist? Druk u

Met u neem je je laatste oordeel terug en krijg je dat item opnieuw te zien.

Je ziet wat anderen zien

Iedereen krijgt dezelfde volgorde. Zo is te meten hoe vaak jullie het eens zijn, en dat maakt de uitkomst geloofwaardig. Overleg dus niet: kijk zelf.

Twijfel mag

Liever eerlijk twijfel dan een gok. Weet je bij een antwoord echt niet of het klopt, kies dan twijfel.

Op je telefoon

Werkt ook, dan tik je de knoppen onderaan in plaats van toetsen te drukken.