Stap 3A: Summatieve toetsing en beoordeling

Deliverables stap 3A:

• Vaststellen eindproducten voor summatieve toets
• CO+CB Rubric

Stap 3A1 Vaststellen van de onderdelen van het portfolio

We doen aan het einde van een stone of challenge een uitspraak over het behalen van een leeruitkomst aan de hand van een portfolio of portfolio-assessment (meestal portfolio).

Summatieve toetsing en beoordeling:
gaat over het aantonen van een leeruitkomst
d.m.v. de leeruitkomst vertaald in de beoordelingscriteria, beoordelen wij geïntegreerd de integratie van kennis, vaardigheden en houding, de transfer: het aanpassen van professioneel handelen in verschillende situaties, en zelfregulatie: de zicht van de student op zijn leren en ontwikkeling
stones binnen een impactgebied beoordelen grotendeels op dezelfde kernactiviteiten, per niveau verschillen de leeruitkomsten.

De volgende onderdelen komen voor in élk portfolio, de concrete invulling ervan kan sterk variëren en is afhankelijk van wat bijvoorbeeld passend is bij de beroepspraktijk:

Portfolio bestaat uit: 1. Beroepsproduct(en), 2. Verantwoording en 3. Reflectie:
Beroepsproduct(en): hiermee geeft de student antwoord op het beroepsvraagstuk, dit kunnen één of meerdere beroepsproducten zijn.
Ondersteund met informatie van de student uit verantwoording en reflectie:
Verantwoording van het onderzoek- en werkproces (the making of..) bij voorkeur is dit onderdeel van of behorend bij het beroepsproduct (researchdossier, verantwoording in communicatieplan van onderzoeksresultaten). Soms zal het meer het vastleggen van het maakproces zijn ten behoeve van de studie alleen (dat wil zeggen: niet vanzelfsprekend behorend tot de beroepspraktijk).
Reflectie op eigen leerproces & professionele ontwikkeling en consequenties voor keuzes binnen het curriculum: reflectie en ontwikkeling wordt gestimuleerd in de stone (5 strategieën van FE, didactisch coachen) en in de coachlijn. De student doet verslag van de eigen inzichten aan het einde van de stone.
In SIS is de toetsvorm standaard: ‘portfolio/assessment’, maar daarbij kun je in de uitvoering van het onderwijs alleen voor het portfolio kiezen. Een assessmentgesprek is dan optioneel.
Onderliggende documenten bij de volgende stap:

• Toetsnotitie 1: BSA, herkansingen en niveau-overgangen: zie herijkingspagina nice-to-know
• Toetsnotitie 3: summatieve toetsing en beoordeling, het formatieve programma en coaching: zie herijkingspagina nice-to-know
• Eindkwalificaties CO+CB
• Visie op onderzoek CO+CB: vanaf 8 feb zie need-to-know herijkspagina
• Rubric voor Rubrics
• Excel: Impactgebieden Kernactiviteiten in relatie tot Niveaubeschrijvingen > Deze kun je opvragen bij de impactcoördinator

Powerpointpresentatie bij Opname 2

Stap 3A2 Processtappen in het ontwikkelen van de beoordelingscriteria – gekoppeld aan de kernactiviteiten en aan de leerresultaten van het niveau
Centrale vraag: Welke criteria zijn bepalend voor een valide en betrouwbare beoordeling van het summatieve eindproduct met borging van de leerresultaten van het niveau van de stone?

Als duidelijk is WAT we toetsen (de leeruitkomst) en HOE we toetsen (samenstelling van het portfolio) kunnen we overgaan tot het opstellen van beoordelingscriteria. Deze beoordelingscriteria worden verwerkt in een rubric. Dit is een belangrijke deliverable van stap 3.

Het ontwerpen van een rubric is een proces waarin een aantal keuzes gemaakt moeten worden en de rubric moet herijkt worden en getoetst op validiteit en betrouwbaarheid als de stone eenmaal gegeven wordt. De meest logische keuze voor CO+CB, passend bij de gekozen didactiek van het curriculum, is om een analytische rubric te maken – dus met meerdere criteria- en dat die criteria generiek beschreven worden voor de beroepspraktijk. Dat betekent dat de rubric niet aan de specifieke beroepstaak verbonden is (specifiek voor een opdrachtgever bijvoorbeeld), wel aan de leeruitkomst. Zo is de rubric bij aanpassing van het beroepsvraagstuk nog steeds te gebruiken. Kort gezegd: We omschrijven met de rubric hoe competent gedrag eruitziet in die stone voor het oplossen van beroepsvraagstukken voor die kernactiviteiten en dat niveau.

Stoneteams gaan een rubric ontwerpen op basis van een algemene CO+CB-indeling. We hebben de (voorlopige) keuze gemaakt om de rubrics vorm te geven met geclusterde criteria op basis van de kernactiviteiten van een impactgebied. Die kernactiviteiten worden uitgewerkt met daarin onder andere subcriteria die verwijzen naar de leerresultaten per niveau. We volgen een stappenplan wat daarnaartoe leidt, als dit onlogisch voelt of problemen geeft met de validiteit gaan we over op maatwerk, overleg dan met je onderwijskundig docent. We willen echter op deze manier ontwerpen om zoveel mogelijk voorspelbaarheid in het ‘lezen’ van de rubric te geven, voor studenten en docenten, en om rechtstreeks de omschrijvingen van de leerresultaten per niveau te borgen (voorbeeld in ontwikkeling).

Werkproces voor het maken van een CO+CB-rubric:

1. Brainstorm voor input voor de beoordelingscriteria
   Begin eerst met een gezamenlijke brainstorm voor het bepalen van beoordelingscriteria. Beantwoord de volgende vragen: Wanneer zijn de onderdelen van het portfolio van goede kwaliteit? Waaraan zie je dat? Beschrijf het zoveel mogelijk in observeerbaar gedrag of uitkomsten. Wissel met elkaar uit en kom tot een zo concreet mogelijke omschrijving van kwaliteit. Gebruik positieve bewoordingen. Inspiratie kun je halen uit:
   • Gesprek met of kennis gebruiken uit de eigen beroepspraktijk: hoe zien zij kwaliteit?
   • Eerder studentenwerk dat vergelijkbaar is (zowel voldoende als onvoldoende) van CO+CB of andere opleidingen
   • Rubrics van vergelijkbare modules binnen en buiten CO+CB, nationaal en internationaal- eventueel op te vragen via het onderwijskundig netwerk van de HvA.
2. Koppeling met de kernactiviteiten
   Gebruik de kernactiviteit met duiding zoals opgesteld door de impactco. Vergelijk ze met je eigen brainstorm. Bekijk of je eigen beoordelingscriteria (generiek) betrekking hebben op de kernactiviteiten.
   
   Het proces van afstemmen en uitdenken van deze criteria bepalen voor een groot deel de validiteit van de uiteindelijke rubric: beoordelen we wat we willen beoordelen?
   • Check: Vatten we de essentie van goed werk in deze omschrijving? Is het intuïtief? Neem in je hoofd het beste werk dat je kent van een student, die wellicht een net ander pad bewandeld heeft: krijgt deze student volgens deze criteria ook een goed/excellent?
   • Check: Beschrijft de kernactiviteit observeerbaar gedrag (handelingen in een beroepssituatie)? Denk bijv. aan: het kunnen ontwikkelen/ontwerpen van beroepsproducten, het creëren van impact.
   • Check: Is zowel de verantwoording die verwijst naar het proces (hoe de student gewerkt heeft en welke keuzes die heeft gemaakt) als eindresultaat (beroepsproduct en verantwoording) meegenomen in de criteria.
   • NB: Voor heb beoordelen van de reflectieonderdeel (student reflecteert op het werkproces en op zijn leren en ontwikkeling) krijgen jullie criteria aangereikt.
3. Link met de leerresultaten/eindkwalificaties (taal, werkwoorden)
   Doel: Het is de bedoeling dat wij het niveau van de eindkwalificaties borgen in de te maken beoordelingscriteria. We moeten dus de link maken tussen de eindkwalificaties en de uitwerking van de beoordelingscriteria (die in de vorige stap gekoppeld zijn aan de kernactiviteiten).
   
   Instructie
   Zet de kernactiviteit samen met de uitgewerkte criteria samen in een rubric-template.
   
   Maak een link met eindkwalificaties en formuleer beoordelingscriteria in subcriteria:
   • Bestudeer de Eindkwalificaties van CO+CB: zijn de 17 indicatoren van de leerresultaten (de regels van de eindkwalificaties in de drie onderdelen: Strategie, Productie, Reflectie en onderzoek) geborgd in de kernactiviteit? Welke leerresultaten bij de kernactiviteit horen, check je a.d.h.v. het Excel: Impactgebieden Kernactiviteiten in relatie tot Niveaubeschrijvingen > vraag op bij je impactco.
   • Kun je de beoordelingscriteria zo formuleren dat de taal van de leerresultaten (bijv. de werkwoorden, kernwoorden) daarin terugkomt (herkenbaar)?
   • Neem de adviezen van de leerlijngroepen ter harte:
     – Voor het beoordelen van Nederlands, Engels en rekenvaardigheden. Check de link met de desbetreffende leerresultaten in de Eindkwalificaties
     – Lees de Visie op onderzoek van CO+CB (8 feb). Check de link met de desbetreffende leerresultaten in de Eindkwalificaties
4. OverallCheck
   Doel: De beoordelingscriteria formuleren met alle input uit onderdeel A+B+C
   
   De eisen van beoordelingscriteria:
   
   Inhoudelijk
   • Beoordelen observeerbaar gedrag;
   • zijn valide en betrouwbaar (integratie, transfer, zelfregulatie – zie Toetsnotitie 3, hoofdstuk 2: Kwaliteitsgericht;
   • vormen basis voor de rubric om het niveau te kunnen meten;
   • het aantal van de criteria is voldoende om de complexiteit van de te leveren prestate te weerspiegelen;
   • zijn onafhankelijk van elkaar waardoor zij verschillende aspecten meten.
     
     Instructie
     Gebruik de opbrengst uit stap B en voeg de lijst met de beoordelingscriteria van alle kernactiviteiten onder elkaar toe aan jullie template.
5. Beoordelingscriteria voor het summatief oordeel checken
   Doel: Check op de beoordelingscriteria als geheel.
   Vormen de criteria een geheel om
   • geïntegreerd te kunnen beoordelen: de integratie van kennis,v aardighedenen houding- transfer van het professioneel handelen naar verschillende situaties, zelfregulatie van het eigen leren en ontwikkeling
   • in samenhang te kunnen beoordelen: alle onderliggende kernactiviteiten leiden als geheel tot een summatieve uitspraak
   • Zullen ze leiden tot een betrouwbaar oordeel: kan elke docent die deelneemt aan de stone begrijpen wat er wordt bedoeld?
   • Zijn ze valide: klopt het intuïtief? Krijgt een slecht portfolio een onvoldoende, een middelmatig portfolio een lage voldoende en een goed portfolio een goede beoordeling?

Stap 3A3 Processtappen in het ontwikkelen van een rubric

Houdt bij de hand: rubric voor rubrics

De doelen van een rubric
Rubrics worden ontworpen met meerdere doelen: voor de docent om voortgang te bewaken én om het eindproduct te beoordelen, voor de student om inzicht te geven in wanneer die succesvol is en de eigen voortgang te monitoren. We gebruiken de rubric dus voor zowel summatieve (dan heten het beoordelingscriteria) als formatieve doelen (beoordelingscriteria uitgewerkt in succescriteria). De succescriteria komen aan de orde in stap 3B.

Processtappen
De beoordelingscriteria heb je vastgesteld in stap 3A2. om tot een rubric te komen, werk je de beoordelingscriteria uit in verschillende niveaus.
Werk ze in eerste instantie uit met drie niveaus (bijvoorbeeld: goed, voldoende, onvoldoende).
Kies hoeveel niveaus je nodig denkt te hebben, bijvoorbeeld (advies is 5, maar het mag meer of minder). De proef op de som is het beoordelen van een 20-tal studentenwerken en die in stapels leggen. Hoeveel stapels je maakt, zoveel niveaus wil je hebben. Gangbaar is 3-5.
Vraag feedback aan studenten of liever nog; betrek ze eerder in het ontwerp en vraag hen waar een goed product aan voldoet.
Beoordeel je rubric met de ‘rubric voor rubrics’