Vrijdag 16 juni Sessieronde 5 Titel: Student Analytics - Connecting the dots! Spreker(s): Theo Bakker (Vrije Universiteit Amsterdam) Zaal: Boston 19

1. CONNECTING THE DOTS!
METHODE EN AANPAK VU STUDENT ANALYTICS
16 JUNI 2017, V1
HO-LINK

2. CONNECTING THE DOTS....
2
Project
Manager
V

3. CONNECTING THE DOTS....
3
V
Project
Manager

4. V
STUDENT ANALYTICS AAN DE VU – DOET DE VU AAN BIG DATA?
VOLUME
V VARIETY
V VELOCITY
V VALUE
V600+
externe
uren
4.440
interne
uren
2x 10 weken
doorlooptijd
787
kenmerken
23
bronnen
7 jaar
aan data
176.908
eerstejaars
inschrijvingen
4.400.000
resultaten
21,8
GB aan
data
begeleiding
381
studenten
wekelijkse
frequentie van data
752
bestanden
3
academische
jaren
juni2017
6
wetenschappelijke
projecten
voorlichting
62.000
studenten
7 beleidsrapporten
12 beleids-
dashboards
79
presentaties

5. WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (1)
5
Business
User
Database
administrator (DBA)
Data
Scientist
Privacy
Officer
Project
Manager
Project
Sponsor
Business
Intelligence
Analyst
Data
Engineer
Security
Officer
Het VU Student
Analytics project
kent de volgende
rollen
V
Theo
OTIR-team
+ Weten-
schappers
OTIR-team
VU-IT
Externe partijen
OTIR
-team

6. V
WIE HEB JE NODIG? – SLEUTELROLLEN IN STUDENT ANALYTICS (2)
6
Social Learning Cycle in de information space – Boisot 1999
5
6
Concreet Niet verspreid
Verspreid
Abstract
Gecodificeerd
Nietgecodificeerd
1
2
3
4
4. Verspreiding
van informatie
Rapportages, dashboards,
datasets voor wetenschappelijk gebruik
Formeel
Informeel
5. Absorptie
Ontvangst van inzichten
via meerdere kanalen
Medewerkers (docenten
en beleidsmedewerkers),
studenten,
6. impact
nieuwe beleid,
transacties in
systemen,
OER, strategie,
begeleiding, onderwijs
systeeminrichting
3. Abstractie
Analyse van data en
creëren van inzichten
Analyses,
Werksessies
1. Verzameling
Verzameling van data en
feedback van gebruikers
SIS,
Studielink,
NSE, CRM, etc
2. Codificering
Engineering van data
naar datasets
Rapportages, data
Combinatie van data,
definitie van variabelen

7. WAT HEB JE NODIG? - HET NEGENVLAK VOOR INFORMATIEMANAGEMENT
7
Het negenvlak helpt bij
het in kaart brengen van
het raakvlak tussen
organisaties en hun IT
voorziening
Het negenvlak voor
informatiemanagement -
Rik Maes (1999),
naar Toon Abcouwer
& Jan Truijens (1997)
Strategie
Instelling
Informatie
&
communicatie
strategie
IT strategie
Processen
&
procedures
Data
&
Informatie
Systemen
Onderwijs
&
Onderzoek
Persoonlijke
informatie
Werkplek
Business
Informatie
& communicatie
Technologie
Beleid
richten
Structuur
inrichten
Uitvoering
verrichten
Inspireren
Informeren

8. NEGENVLAK - INFORMATIEMANAGEMENT & ANALYTICS
8
Strategie
Instelling
Informatie
&
communicatie
strategie
IT strategie
Processen
&
procedures
Data
&
Informatie
Systemen
Onderwijs
&
Onderzoek
Persoonlijke
informatie
Werkplek
Business
Informatie
& communicatie
Technologie
Beleid
richten
Structuur
inrichten
Uitvoering
verrichten
• Analytics strategie
• BI strategie
• Aanlevering van
bestanden
• Automatisering / SLA’s
• Beveiliging
• Versiebeheer software
• Installatie van software
bij ontwikkelaars en
eindgebruikers
• Hardware• Monitor voor begeleiders
• Klankbordgroep
• Trainingsprogramma
• Voorlichting over privacy & beveiliging
• Pilot in onderwijs
• Beleidsvorming &
kwaliteitszorg
• Gebruik in
wetenschappelijk
onderzoek
• Onderwijsagenda
• Instellingsplan
• Bekostiging
• Overleg met OCW
• Toestemmings-
verklaring
• Levering aan
- begeleiders
- beleidsmedewerkers
- wetenschappers
• Privacy beleid
• Stuurgroep
• Communicatie (intern) & extern
• Ethische uitgangspunten
• Datakwaliteit
• Validiteit methoden
• Documentatie
• Stijlgids
• Issuetracking / Scrum
1 2
3
4
5
76 8
9

9. Geslacht
Leeftijd op 1 oktober
Land van herkomst VO
Gezinssamenstelling
Profielkeuze
Vooropleiding en onderwijsinstelling
Tussenjaren / Jaren sinds diploma
Verblijfsjaren
Voorlichting en introductie
Matching
Eindexamencijfers
Uitslagen taaltoets VU
Studieprestaties aan de VU
Honours en Cum Laude
Studenttevredenheid
Uitval en diplomarendement
Studiesucces & tevredenheid
Stroominformatie
Geografische spreiding (GIS)
Kwaliteit scholen
Achtergrond scholen
1. DATA – DATA EN KENMERKEN DIE ZIJN GEANALYSEERD
9
Instroom
Vooropleiding & aansluiting
Demografie
Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk
onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is
gebruikt voor analyses van studiesucces in de bachelor:
Bijzondere persoonsgegevens
Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het
project:
• Eerste generatie & etniciteit, geboorteland
• Functiebeperking

10. 1. DATA – VALIDITEIT METHODIEK
10
VOORSPELMODEL BACHELOR
UITVAL NA 1 JAAR
BIJLAGE III – STUDENT ANALYTICS 2016
VERSIE 5, 6 MAART 2017
Martijn Meeter
Hoogleraar
Onderwijskunde VU
Sandjai Bhulai
Hoogleraar
Data Analytics VU
Wetenschappelijke bijlage
voorspelmodel
Data
Scientist
Wetenschappelijke toetsing
Methodiek en uitkomsten gevalideerd door wetenschappers VU

11. 1. DATA – DOCUMENTATIE (1)
11
Productvisie - verantwoording selecties
en scope van de data
Inhoudsopgave
I. Inleiding
II. Context
III. Scope
IV. Ontwerpcriteria
V. Verantwoording
keuzes
VI. Procedures levering
datasets
Business
User
Project
Sponsor

12. 1. DATA – DOCUMENTATIE (2)
12
Documentatie analyseset (codebook)
Beschrijving per variabele & mogelijke waarden
Data
Scientist

13. 1. DATA – DOCUMENTATIE (3)
13
Stijlgids
Afspraak over codering van bestanden en het maken van code
Data
Scientist
Business
Intelligence
Analyst
Data
Engineer

14. 1. DATA – ISSUETRACKING / SCRUM
14
SCRUM & JIRA
Dagelijkse stand-up / sprints / JIRA
Data
Scientist
Business
Intelligence
Analyst
Data
Engineer

15. 2. SYSTEMEN – AANLEVERING VAN DATA
15
Verrijkt 1CHO bestand
Een imitatie van het 1CHO
bestand voor gebruik in het najaar
Analysesets
Gecombineerde data, één regel
per inschrijving. Resultaten met
één regel per vak
Dashboards
Op basis van subsets van de
analysesets
Modellering
• Tabellen per sleutel/niveau
Manipulatie:
• Transformeren, schonen,
filteren
• Start met
inschrijvingstabel,
toevoegen van additionele
informatie.
Brondata
Databestanden zijn
gepseudonimiseerd
en op een beveiligde
netwerkschijf gezet.
Datamodel &
datamanipulatie
Resultaten
De data is vervolgens
in een model gevat
en verder bewerkt*
Inschrijving
Student Resultaat
Bronnen
• DUO
• CBS
• MIVU / SAP SLM
• Selligent
• NOA (Matching)
• Introductie
• Taaltoets & bijspijker
• NSE
• Alumni
Vervolgens zijn 4 views op
de data gemaakt voor
verschillende doeleinden*
*Zie voor een toelichting op selecties
en keuzes bijlage X
Brondata is verzameld, gecombineerd, opgeschoond en getransformeerd en omgezet naar nieuwe
datasets en rapportages
Extracten voor wetenschappers
Op basis van subsets van de
analysesets

16. 2. SYSTEMEN – AANLEVERING VAN DATA
16
Database
administrator (DBA)
Systemen
Geautomatiseerde aanlevering & beveiligingsplan
Privacy
Officer
Security
Officer

17. 2. SYSTEMEN – VERSIEBEHEER SOFTWARE
17
Systemen
Versiebeheer software
Data
Scientist
Business
Intelligence
Analyst
Data
Engineer

18. V
3. INSTELLING - WAT BETEKENT HET VOOR DE VU?
18
De VU
Meer instroom van goed gemotiveerde studenten en
betere relaties met toeleverende scholen met een
unieke positionering.
Hogere tevredenheid onder studenten en docenten.
Meer baten door een gezonder evenwicht in
bekostiging.
Project
Sponsor

19. V
3. INSTELLING - WAT BETEKENT HET VOOR DE VU?
19
Meer instroom van goed gemotiveerde studenten en
betere relaties met toeleverende scholen met een
unieke positionering.
Hogere tevredenheid onder studenten en docenten.
Meer baten door een gezonder evenwicht in
bekostiging.
De VU
Project
Sponsor

20. V
3. INSTELLING - WAT BETEKENT HET VOOR STUDENTEN & DOCENTEN?
20
Studenten
& docenten
Betere aansluiting van studenten vanuit hun vooropleiding.
Betere mogelijkheden om actief te reflecteren op het eigen
studiesucces en daarbij passende begeleiding te vinden.
Beter inzicht in studenten en hun achtergrond voor
begeleiding.
Bron: Ad Valvas
Business
User

21. V
3. INSTELLING - WAT BETEKENT HET VOOR ONDERZOEKERS EN OOP?
21
Onderzoeker
& beleidsmakers
Beter inzicht in studenten en hun achtergrond.
Ondersteuning kunnen bieden die aansluit bij de
daadwerkelijke vraag van studenten en de behoefte van
de onderwijsorganisatie.
Mogelijkheden voor het doen van eigen onderzoek op
rijke analysesets onder voorwaarden.
BEVINDINGEN – SELECTIEVE WERKING
4
Mogelijke effecten van invoer van het BSA bij alle opleidingen die vanaf 2011 een
BSA invoerden
1. Verbetering van de selectieve functie van het 1e jaar; studenten vallen eerder uit ten
opzichte van de totale uitval.
2. Toename van het gemiddeld aantal behaalde studiepunten in het 1e jaar.
3. De verdeling van BSA adviezen over de jaren heen min of meer constant.CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS
Uit een regressieanalyse van het
inschrijvingsjaar 2014 blijkt dat er een
significant verband is tussen het
eindexamencijfer Nederlands en de
taaltoets, maar dit verband is zwak.
P < 0,0001, R2 = 0,155
Dit kan erop duiden dat de twee variabelen
andere aspecten van de Nederlandse taal
toetsen en elkaar aanvullen als het gaat
om uitval; het kan ook liggen aan een
achterliggende, nog onbekende variabele*.
Er zijn studenten met een redelijk
eindexamencijfer Nederlands die ook in
aanmerking komen voor bijscholing.
Deze groep kunnen we met de taaltoets
identificeren.
16
Inschrijvingsjaar
2014
* Om hier uitspraken over te kunnen doen is nader
onderzoek nodig.
Business
User

22. 4. PROCESSEN & PROCEDURES - TOESTEMMING
22
De aanpak voor begeleiding kent
drie stappen
We vragen studenten eerst
toestemming om hun hun
persoonsgegevens te mogen
gebruiken voor proactieve en
gerichte begeleiding.
Bij studenten die toestemming
hebben gegeven prioriteren we na
iedere periode begeleiding en
advies op basis van een kans op
uitval.
Vervolgens baseren we het advies
en de verdere begeleiding op het
tot dan toe getoonde
studiegedrag (op de dimensies
academische zelfmanagement/
motivatie en prestatie).
%
56Kans op uitval
Toestemming
1
2
3
ADVIES
Privacy
Officer

23. 5. INFORMATIE & COMMUNICATIE – PRIVACY & LEVERING
23
Business
User
Privacy
OfficerLevering: PIA & doelbinding
Per type bestand is bepaald aan wie het geleverd mag worden,
en voor welk doel. Dit is vooraf gegaan door een Privacy Impact Assessment

24. 5. INFORMATIE & COMMUNICATIE – STUURGROEP
24
Stuurgroep
Een brede samenstelling van verschillende rollen
Business
User
Data
Scientist
Privacy
Officer
Project
Sponsor
Data
Engineer
Security
Officer
Leden
• Hoofd Student- en
Onderwijszaken
• Privacy Officer
• IT dienst
• 2 Wetenschappers
• Tutor
• Studieadviseur
• Opleidingsmanager
• Student (USR)
• Hoofd centrale
studentbegeleiding
Vergaderingen
1x per 6 weken een
vergadering
Project
Manager

25. 5. INFORMATIE & COMMUNICATIE – ETHIEK
25
Code of conduct
Waar staat de VU voor in het gebruik van Student Analytics
Project
Sponsor
Business
User
PRIVACY & ETHISCHE
UITGANGSPUNTEN
CODE OF CONDUCT STUDENT ANALYTICS 2017
VERSIE 1, 15 MEI 2017
JUNI 2017, V2

26. 6. ONDERWIJS & ONDERZOEK – PILOT
26
Business
User
Privacy
OfficerPilot
Een gecontroleerd experiment bij 3 faculteiten waaraan
ruim 800 studenten deelnemen en ca 25 begeleiders
Bron: Ad Valvas
Data
Scientist

27. 6. ONDERWIJS & ONDERZOEK – BELEIDSVORMING
27
Business
User
Onderzoeksrapporten
en dashboards
Onderzoeken naar instroom,
studiesucces, introductie,
voorlichting, BSA, Taaltoets
Data
Scientist
Business
Intelligence
Analyst
CORRELATIE EINDEXAMENCIJFER NEDERLANDS & TAALTOETS
Uit een regressieanalyse van het
inschrijvingsjaar 2014 blijkt dat er een
significant verband is tussen het
eindexamencijfer Nederlands en de
taaltoets, maar dit verband is zwak.
P < 0,0001, R2 = 0,155
Dit kan erop duiden dat de twee variabelen
andere aspecten van de Nederlandse taal
toetsen en elkaar aanvullen als het gaat
om uitval; het kan ook liggen aan een
achterliggende, nog onbekende variabele*.
Er zijn studenten met een redelijk
eindexamencijfer Nederlands die ook in
aanmerking komen voor bijscholing.
Deze groep kunnen we met de taaltoets
identificeren.
16
Inschrijvingsjaar
2014
* Om hier uitspraken over te kunnen doen is nader
onderzoek nodig.

28. 6. ONDERWIJS & ONDERZOEK – KWALITEITSZORG
28
Business
User
Kwaliteitszorg
Mogelijkheden voor kwaliteitszorg beginnen te ontstaan
Data
Scientist
Business
Intelligence
Analyst

29. 6. ONDERWIJS & ONDERZOEK – WETENSCHAP
29
Wetenschappelijk onderzoek
Onderzoek naar diversiteit, effecten van matching en begeleiding,
studiesucces studenten Geneeskunde, calculerend studeren,
studiesucces studenten met een functiebeperking
Data
Scientist
Datasets zijn geleverd aan
- Martijn Meeter
- Chris van Klaveren
- Ilja Cornelisz
- Maurice Krul
- Mark de Jong
- Ulviye Isik
- Theo Bakker / Sander Begeer

30. 7. PERSOONLIJKE INFORMATIE - PILOT
30
Pilot
Een gecontroleerd experiment bij 3 faculteiten waaraan
ruim 800 studenten deelnemen en ca 25 begeleiders
Business
User

31. 7. PERSOONLIJKE INFORMATIE – TRAINING (1)
31
Training Data Science
Datacamp abonnement, inkoop training Highland Statistics,
literatuur, wekelijkse verdiepingssessie, Tableau training,
informatiesessie privacy, onderlinge review van werk
Data
Scientist
Business
Intelligence
Analyst
Data
Engineer

32. 7. PERSOONLIJKE INFORMATIE – TRAINING (2)
32
Het Student Analytics onderzoek 2016 is met een externe consultancy partij uitgevoerd
voor de zomer van 2016. Parallel daaraan is gewerkt aan het verhogen van analytics
inzichten, kennis en vaardigheden van de VU. In 2017 wordt het project zelfstandig door
de VU uitgevoerd door beleidsmedewerkers kwaliteitszorg en wetenschappelijk
personeel.
Tijd
Aandeel
VU: zelf doen
Extern: Kennisoverdracht, voordoen
VU: meedoen
Student
Analytics
2016
Inzichten en
Compenties
Extern + VU: Samendoen
Q1 2016 Q4 2017

33. 8. WERKPLEK – HARDWARE & SOFTWARE
33
Werkplek
i7-6700 3.40GHz machine met Windows 7 Enterprise 64-bit en 16GB,
R, R-studio, Bitbucket/SourceTree/GIT, Tableau Desktop Professional/
Tableau Reader, Tableau Powertools, MS Office
Data
Scientist
Business
Intelligence
Analyst
Data
Engineer

34. 9. IT STRATEGIE – ANALYTICS (1)
34
We willen weten welke factoren bepalend zijn in
studiesucces voor alle studenten en die gebruiken voor
evidence based beleid en begeleiding
VISIE EN STRATEGIE
ANALYSE VAN DATA
We weten op hoofdlijnen wat de
huidige werkpraktijk is, hoe
processen en systemen zijn
ingericht, en wat onze huidige
manier van denken en werken is.
ANALYSE VAN WERKPRAKTIJK
De totstandkoming van de analysesets
willen we verder verbeteren. Alle
analyses wil de VU zelfstandig uitvoeren.
De uitkomsten van de analyses willen we
verankeren in onze processen &
procedures en informatiesystemen.
Daarmee willen we betere voorlichting en
begeleiding structureel faciliteren.
BORGEN
EN VERANDEREN
De resultaten monitoren we
om onze organisatie verder te
verbeteren en onderwijsbeleid
evidence based te ontwikkelen.
MONITOREN EN
VERBETEREN
STUDIE-
SUCCES
We hebben (historische en nieuwe)
studentdata geanalyseerd voor de BA.
Dit breiden we uit naar analyses op PM
en MA
Voortbouwend op SA2016 wil de VU – door verbreding in Student Analytics 2017 –
aansluiting, voorlichting en begeleiding optimaal en onderscheidend vormgeven in
BA, PM en MA
Ook weten we welke werving,
voorlichting en begeleiding
optimaal kan aansluiten bij de
daadwerkelijke potentie en behoefte
van onze studenten.
Deze inzichten willen we verbinden aan
de huidige werkpraktijk in BA, PM en
MA.
VOORLICHTING
EN BEGELEIDING
EVIDENCE BASED
Project
Sponsor

35. 9. IT STRATEGIE – ANALYTICS (2)
35
1 2 3 4 5
1
1 2 3
instroom
Bachelor
instroom
instroom
Premaster
MasterAansluiting
Uitval 1-2-3
& voorspelmodel jr 1 Diploma 3-4-5
0
2
3
Voorspelmodel diploma
Uitval en rendement
& voorspelmodel
4
Uitval en rendement
& voorspelmodel
doorstroom
of arbeidsmarkt
arbeidsmarkt
5
5
1
1
1
Instroom-
prognosemodel
We hebben 9 thema’s geïdentificeerd in de studieloopbaan waar analyses op uitgebreid
kunnen worden: 1) instroomprognose, 2) afstuderen bachelor, 3) premaster, 4) master,
5) doorstroom en aansluiting arbeidsmarkt, 6) aansluiting VWO, A) internationalisering,
B) excellentie en talent, en C) diversiteit.
VWO
6
Internationalisering Excellentie en talent DiversiteitA B C
Gerealiseerd in SA2016
Project
Sponsor

36. 9. IT STRATEGIE – BUSINESS INTELLIGENCE & ANALYTICS
36
Student Analytics
Verkennen en ontdekken,
voorspellen, actiegerichte
inzichten
fore-sightinsighthindsight
Business intelligence
Feiten begrijpen,
rapportage verleden
en huidige prestatie
Data extractie
& integratie
Prestaties meten
& rapporteren
Visualisaties
Segmentatie
& statistisch clusteren
Voorspellende
modellen
Optimalisatie, simulatie
& scenario analyse
Management-
informatie (MIVU)
Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten
ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten
gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek.
Project
Sponsor

37. CONTACTGEGEVENS
37
Theo Bakker
Strategisch Beleidsadviseur Studiesucces & Projectleider Student
Analytics
Student- en Onderwijszaken, Vrije Universiteit
t.c.bakker@vu.nl | 06-25637172
Toestemming voor gebruik van gegevens uit deze publicatie
Gebruik van gegevens uit deze publicatie is uitsluitend
toegestaan onder voorwaarde dat het artikel waarin deze
gegevens worden opgenomen door de VU gecontroleerd kan
worden op feitelijke onjuistheden en deze – indien geconstateerd
– worden aangepast.
Daarnaast dient vermeld te worden dat het materiaal afkomstig is
van de VU.