{"id":8401,"date":"2026-04-03T14:35:39","date_gmt":"2026-04-03T14:35:39","guid":{"rendered":"https:\/\/dodo.proefschriftmaken.nl\/portfolio\/koen-neijenhuijs\/"},"modified":"2026-04-23T08:50:53","modified_gmt":"2026-04-23T08:50:53","slug":"koen-neijenhuijs","status":"publish","type":"us_portfolio","link":"https:\/\/dodo.proefschriftmaken.nl\/en\/portfolio\/koen-neijenhuijs\/","title":{"rendered":"Koen Neijenhuijs"},"content":{"rendered":"","protected":false},"excerpt":{"rendered":"","protected":false},"author":8,"featured_media":13930,"comment_status":"closed","ping_status":"closed","template":"","meta":{"_acf_changed":false,"footnotes":""},"us_portfolio_category":[45],"class_list":["post-8401","us_portfolio","type-us_portfolio","status-publish","has-post-thumbnail","hentry","us_portfolio_category-new-template"],"acf":{"main_text":"","naam_van_het_proefschift":"Patient reported measures in eHealth","samenvatting":"Patient Reported Measures (PRMs), door de pati\u00ebnt ingevulde instrumenten, worden ingezet om verscheidene constructen te meten. PRMs kunnen verdeeld worden in twee hoofdcategorie\u00ebn: Patient Reported Outcome Measures (PROMs), gebruikt om Health Related Quality of Life (HRQoL) en symptomen van de individuele pati\u00ebnt te meten, terwijl Patient Reported Experience Measures (PREMs) de kwaliteit van de gezondheidszorg evalueren vanuit het perspectief van de pati\u00ebnt. In dit proefschrift ligt de focus op PROMs en PREMs die gebruikt worden in eHealth, het aanbieden van gezondheidszorg door middel van digitale media. Het Oncokompas is een eHealth zelfmanagement applicatie om kankerpati\u00ebnten te ondersteunen in het vinden en verkrijgen van optimale ondersteunende zorg, aangepast aan hun persoonlijke gezondheid en voorkeuren. Om persoonlijk advies te kunnen geven maakt het Oncokompas gebruik van 29 veelgebruikte PRMs (naast enkele nieuw ontwikkelde PRMs). Het eerste doel van dit proefschrift is het onderzoeken van de psychometrische eigenschappen van verscheidende PRMs opgenomen in het Oncokompas.\n\nPsychometrische eigenschappen verwijzen naar de validiteit en betrouwbaarheid van een meetinstrument en zijn cruciaal om te bepalen of een meetinstrument in de praktijk gebruikt kan worden. Validiteit is \u201cde mate waarin een instrument het construct meet waarvan wordt beweerd dat het wordt gemeten\u201d en betrouwbaarheid is \u201cde mate waarin het instrument vrij is van meetfout\u201d. Validiteit en betrouwbaarheid kunnen opgedeeld worden in subcategorie\u00ebn (ook wel psychometrische eigenschappen genoemd). De COnsensus-based Standards for the selection of health status Measurement INstruments (COSMIN) taxonomie en COSMIN richtlijnen verschaffen een kader voor het bespreken en interpreteren van verschillende van deze subcategorie\u00ebn, specifiek voor PRMs. Om de psychometrische eigenschappen van 29 bestaande PROMs en \u00e9\u00e9n PREM gebruikt in het Oncokompas te onderzoeken is een systematische review uitgevoerd aan de hand van de COSMIN richtlijnen. Hoewel de volledige bespreking van de resultaten van deze systematische review buiten de reikwijdte van dit proefschrift ligt, zal ik me in dit proefschrift verdiepen in de psychometrische eigenschappen van twee PROMs gericht op seksualiteit (de International Index of Erectile Function in hoofdstuk 2 en de Female Sexual Function Index in hoofdstuk 3), en \u00e9\u00e9n PREM gericht op het meten van tevredenheid met intramurale zorg in kankerpati\u00ebnten (de EORTC IN-PATSAT32 in hoofdstuk 4).\n\nBij de evaluatie van eHealth applicaties komen erg specifieke problemen voor. Wetenschappelijke evaluaties door middel van randomized controlled trials of diepte interviews gericht op de ervaringen van pati\u00ebnten kosten veel tijd en middelen. Ondertussen staat de ontwikkeling van eHealth applicaties niet stil, resulterend in een continue uitdaging om bij te blijven voor eHealth ontwikkelaars. De eHealth Impact Questionnaire (eHIQ) is een PREM gericht op het meten van de houding van pati\u00ebnten ten opzichte van eHealth. Het tweede doel van dit proefschrift is het vertalen en valideren van de eHIQ voor de Nederlandse populatie van eHealth gebruikers (hoofdstuk 5).\n\nHet gebruik van gevalideerde en betrouwbare PRMs in de gezondheidszorg cre\u00ebert opwindende mogelijkheden. Zoals hierboven genoemd, wordt het gebruik van PRMs aangemoedigd in de reguliere gezondheidszorg in Nederlands. PRMs worden ingevuld door pati\u00ebnten in verscheidene behandelstadia, in de huidige tijd dikwijls doormiddel van een eHealth applicatie (zoals een PRM gepresenteerd op een website). Door middel van deze gedigitaliseerde PRMs wordt een enorme hoeveelheid data verzameld. Deze grote datasets kunnen gebruikt worden om theoretische vragen te verkennen, die tot op heden niet op een dergelijk grote schaal onderzocht konden worden. Het derde en laatste doel van dit proefschrift is het onderzoeken van symptoomclusters binnen kankerpati\u00ebnten door het gebruik van een grote dataset verzameld binnen het Oncokompas (hoofdstuk 6).\n\nDe International Index of Erectile Function (IIEF) is een PROM om erectieproblemen en andere seksuele problemen bij mannen te evalueren. We hebben een systematische review uitgevoerd naar de psychometrische eigenschappen van de IIEF-15 en de IIEF-5. Een systematische doorzoeking van de wetenschappelijke literatuur tot en met april 2018 werd uitgevoerd. Data werd ge\u00ebxtraheerd en geanalyseerd volgens de COSMIN richtlijnen voor structurele validiteit, interne consistentie, betrouwbaarheid, meetfout, hypothese testen voor construct validiteit en responsiviteit. Bewijs voor psychometrische eigenschappen werd gecategoriseerd in voldoende, onvoldoende, inconsistent, of niet-bepaaldbaar. De kwaliteit van bewijs was erg hoog, hoog, gemiddeld of laag. Veertig studies werden ge\u00efncludeerd. Het bewijs voor criterium validiteit (van de Erectile Function subschaal), en responsiviteit van de IIEF-15 was voldoende (hoge kwaliteit), maar inconsistent (gemiddelde kwaliteit) voor structurele validiteit, interne consistentie, construct validiteit, en test-hertest betrouwbaarheid. Bewijs voor structurele validiteit, test-hertest betrouwbaarheid, construct validiteit en criterium validiteit van de IIEF-5 was voldoende (gemiddelde kwaliteit), maar niet bepaaldbaar voor interne consistentie, meetfout en responsiviteit. De afwezigheid van bewijs voor, en de aanwezigheid van bewijs tegen een aantal psychometrische eigenschappen van de IIEF-15 en IIEF-5 benadrukken het belang van verder onderzoek naar de validiteit van dergelijke vragenlijsten in klinisch onderzoek en de klinische praktijk. Een kracht van de review was het gebruik van vooraf-gedefinieerde richtlijnen (COSMIN). Een beperking van de review was het gebruik van een precieze, in plaats van een sensitieve, zoekfilter met betrekking op psychometrische eigenschappen voor het identificeren van studies. De IIEF vereist verder onderzoek naar structurele validiteit (IIEF-15), interne consistentie (IIEF-15 en IIEF-5), construct validiteit (IIEF-15), meetfout (IIEF-15 en IIEF-5) en responsiviteit (IIEF-5). De meest urgente kwestie voor vervolgonderzoek is de bepaling van unidimensionaliteit van de IIEF-5 en de exacte factor structuur van de IIEF-15.\n\nDe Female Sexual Function Index (FSFI) is een PROM om seksuele stoornissen bij vrouwen te meten. DE FSFI-19 werd in 2000 ontwikkeld met zes theoretische subschalen. In 2010 kwam een verkorte versie beschikbaar (FSFI-6). Een systematische doorzoeking van Embase, Medline en Web of Science werd uitgevoerd naar studies gericht op psychometrische eigenschappen van de FSFI-19 en FSFI-6 tot en met april 2018. Data werd ge\u00ebxtraheerd en geanalyseerd volgens de COSMIN richtlijnen. Bewijs werd gecategoriseerd in voldoende, onvoldoende, inconsistent, of niet-bepaalbaar, en de kwaliteit van het bewijs als erg hoog, hoog, gemiddeld of laag. De belangrijkste uitkomstmaat was bewijs voor een psychometrische eigenschap, en de kwaliteit van dit bewijs volgens de COSMIN richtlijnen. Drie\u00ebntachtig studies werden ge\u00efncludeerd. Met betrekking tot de FSFI-19, was het bewijs voor interne consistentie voldoende en van gemiddelde kwaliteit. Het bewijs voor betrouwbaarheid was voldoende maar van lage kwaliteit. Het bewijs voor criterium validiteit was voldoende en van hoge kwaliteit. Het bewijs voor structurele validiteit was inconsistent en van lage kwaliteit. Het bewijs voor construct validiteit was inconsistent en van gemiddelde kwaliteit. Met betrekking tot de FSFI-6, werd het bewijs voor criterium validiteit beoordeeld als voldoende en van gemiddelde kwaliteit. Het bewijs voor interne consistentie werd beoordeeld als niet bepaalbaar. Het bewijs voor betrouwbaarheid was inconsistent en van lage kwaliteit. Het bewijs voor construct validiteit was inconsistent en van erg lage kwaliteit. Er was geen informatie beschikbaar met betrekking tot structurele validiteit van de FSFI-6 en meetfout, responsiviteit en cross-culturele validiteit van zowel de FSFI-6 en FSFI-19. Tegenstrijdig bewijs en de afwezigheid van bewijs voor een aantal psychometrische eigenschappen van de FSFI-19 en FSFI-6 benadrukken het belang van verder onderzoek naar de validiteit van dergelijke PROMs. We adviseren onderzoekers die gebruikmaken van FSFI-19 om confirmatieve factor analyses uit te voeren en de gevonden factorstructuur in hun steekproef te rapporteren. Los van deze zorgen hebben de FSFI-19 en de FSFI-6 sterke criterium validiteit. Pragmatisch gezien zijn het goede screeningsinstrumenten voor de huidige definitie van seksuele stoornissen bij vrouwen. Een kracht van de review was het gebruik van vooraf-gedefinieerde richtlijnen (COSMIN). Een beperking van de review was het gebruik van een precieze, in plaats van een sensitieve, zoekfilter. De FSFI vereist verder onderzoek naar structurele validiteit (FSFI-19 en FSFI-6), betrouwbaarheid (FSFI-6), construct validiteit (FSFI-19), meetfout (FSFI-19 en FSFI-6) en responsiviteit (FSFI-19 en FSFI-6). Verdere bevestiging van de meetinvariantie (zowel tussen culturen als tussen subpopulaties) in de factorstructuur van de FSFI-19 is noodzakelijk, net als tests voor de unidimensionaliteit van de FSFI-6.\n\nDe EORTC IN-PATSAT32 is een PROM om de tevredenheid met intramurale zorg van kankerpati\u00ebnten te meten. We onderzochten of de eerste goede psychometrische eigenschappen van de IN-PATSAT32 bevestigd werden in nieuwe onderzoeken. Binnen een grotere systematische review studie (Prospero ID 42017057237), werd een systematische doorzoeking van Embase, Medline, PsycINFO en Web of Science uitgevoerd naar studies gericht op de psychometrische eigenschappen van de IN-PATSAT32 tot juli 2017. Kwaliteit van de studies werd bepaald, data ge\u00ebxtraheerd en samengevat volgens de COSMIN methodologie. Negen studies werden ge\u00efncludeerd in de review. Het bewijs met betrekking tot betrouwbaarheid en construct validiteit werd beoordeeld als voldoende en de kwaliteit als gemiddeld. Het bewijs voor structurele validiteit werd beoordeeld als onvoldoende en van lage kwaliteit. Het bewijs voor interne consistentie was niet bepaalbaar. Meetfout, responsiviteit, criterium validiteit en cross-culturele validiteit werden niet gerapporteerd in de ge\u00efncludeerde studies. Meetfout kon voor twee studies berekent worden en werd beoordeeld als niet bepaalbaar. Samenvattend presteert de IN-PATSAT32 zoals verwacht met betrekking tot betrouwbaarheid en construct validiteit. Er kunnen op dit moment geen harde conclusies getrokken worden over de prestatie van de IN-PATSAT32 met betrekking tot structurele validiteit en interne consistentie. Verder onderzoek is noodzakelijk naar de meetfout, responsiviteit, criterium validiteit en cross-culturele validiteit van deze PROM. Voor toekomstige validiteitsstudies, is het raadzaam om de COSMIN methodologie in acht te nemen.\n\nMeetfout vertegenwoordigt de minimale hoeveelheid verandering gemeten bij een meetinstrument, waarvan we zeker zijn dat het geen artefact is van systematische error. In een grootschalige systematische review vonden we dat enkel 4.14% van de validiteitsartikelen rapporteren over meetfout, en dat de meetfout daarnaast berekent kon worden voor 3.82% van de artikelen. Om de implicaties van meetfout op klinisch onderzoek te illustreren, werd een simulatie studie uitgevoerd. Simulaties werden uitgevoerd op een hypothetische randomized controlled trial gericht op de behandeling van depressie zoals gemeten door de BDI-II. Beginwaarden en een vermindering van symptomen bij onbehandelde depressie (controle conditie) werden ge\u00ebxtraheerd uit de literatuur. De Minimal Clinically Important Difference (MCID) werd gebruikt als maat van effectgrootte voor de verdere afname van symptomen over tijd bij behandelde depressie (behandel conditie). Drie parameters werden systematisch gevarieerd binnen de simulaties: steekproefgrootte (250 \/ 500 \/ 750), effectgrootte (0*MCID \/ 1*MCID \/ 2*MCID \/ 3*MCID) en meetfout (0% \/ 10% \/ 20% \/ 30% \/ 40%). Elke combinatie van parameters werd 5000 keer gesimuleerd. Relatieve bias is de afwijking van de co\u00ebffici\u00ebnt van belang. De relatieve bias werd meer afwijkend van bijna 0 (zonder meetfout) naar -0.5 (met een meetfout van 30% en 40%). Daarnaast lieten effectgroottes meer relatieve bias zien. ETA squared is een maat van effectgrootte. De ETA squared reikt van 0 tot 0.525 wanneer er 0% meetfout is, afhankelijk van de parameter van effectgrootte. Iedere ETA squared gleed dichter naar nul voor meer toegevoegde meetfout. De resultaten van de simulatie toonden een stijging in bias met de toevoeging van meer meetfout. Daarnaast leek dit effect sterker voor grotere effectgroottes. Het resultaat van deze bias is een afname van effectgrootte, iets wat vooral ongunstig is bij 20% of meer meetfout. Het lijkt erop dat meetfout de mogelijkheid om een echt effect te detecteren be\u00efnvloed.\n\nDe eHealth Impact Questionnaire (eHIQ) verschaft een gestandaardiseerde methode om de houding van eHealth gebruikers ten opzichte van eHealth te meten. Het is eerder gevalideerd in een populatie van eHealth gebruikers uit het Verenigd Koninkrijk en bestaat uit 2 delen en 5 subschalen. Deel 1 meet houdingen ten opzichte van eHealth in het algemeen en bestaat uit de subschalen: Attitudes omtrent online gezondheidsinformatie (5 items) en Attitudes omtrent het online delen van gezondheidservaringen (6 items). Deel 2 meet de houding ten opzichte van een specifieke eHealth applicatie en bestaat uit de subschalen Vertrouwen en identificatie (9 items), Informatie en presentatie (8 items) en Begrip en motivatie (9 items). De eHIQ is vertaald en gevalideerd in overeenstemming met de COSMIN criteria. De validatie bestond uit 3 steekproeven met in totaal 1287 deelnemers. Structurele validiteit werd vastgesteld door middel van confirmatieve factor analyses en exploratieve factor analyses. Interne consistentie werd beoordeeld met hierarchische omega (in alle 3 de steekproeven). Test-hertest betrouwbaarheid werd vastgesteld na 2 weken, waarbij gebruik gemaakt werd van tweewegs-intraclass correlatie coefficienten (steekproef 1). Meetfout werd beoordeeld door de kleinst waarneembare verandering te berekenen (steekproef 1). Convergente en divergente validiteit werden beoordeeld door middel van correlaties met overige variabelen (alle 3 de steekproeven). Een graded response model werd toegepast en item informatie curves werden weergegeven om de informatie per item over item trait levels te beschrijven (alle 3 de steekproeven). De originele factor structuur liet een slechte fit zien bij alle drie de steekproeven. EFAs lieten een goede fit zien voor een gemodificeerde factor structuur in de eerste steekproef. Deze factor structuur werd daarna getest in steekproef 2 en 3 en liet een aanvaardbare tot goede fit zien. Interne consistentie, test-hertest betrouwbaarheid, convergente validiteit en divergente validiteit waren aanvaardbaar tot goed voor zowel de originele als de gemodificeerde factor structuur, behalve voor test-hertest betrouwbaarheid van \u00e9\u00e9n van de originele subschalen en de twee afgeleide subschalen in de gemodificeerde factor structuur. De graded response model liet zien dat sommige items verminderd presteren in zowel de originele als de gemodificeerde factor structuur. De Nederlandse versie van de eHIQ (eHIQ-NL) laat een andere factor structuur zien in vergelijking met de Engelse versie. Deel 1 van de eHIQ-NL bestaat uit 3 subschalen: Attitudes omtrent online gezondheidsinformatie (5 items), Comfort omtrent het delen van gezondheidservaringen (3 items) en Nut van het online delen van gezondheidservaringen (3 items). Deel 2 van de eHIQ-NL bestaat uit drie subschalen: Motivatie en vertrouwen om te handelen (10 items), Informatie en presentatie (13 items) en Identificatie (3 items).\n\nKennis over symptoomclusters zou gerichte interventies kunnen informeren. We onderzochten symptoomclusters van kankerpati\u00ebnten door middel van machine learning technieken op een grote dataset. Hiervoor werd data gebruikt van kankerpati\u00ebnten die deelnamen aan de volledig geautomatiseerde online applicatie het Onkokompas. Deze applicatie was ondersteunend in hun zelfmanagement, door 1) hun symptomen te monitoren door middel van PROMs; 2) een gerichte terugkoppeling te geven op aan de hand van hun scores met een persoonlijk overzicht van ondersteunende zorgopties, gericht op het verminderen van symptomen en het verbeteren van gezondheid-gerelateerde kwaliteit van leven. In onze studie werd data over 26 algemene symptomen (fysiek en psychosociaal) meegenomen. Resultaten van de PROM van ieder symptoom worden aan de gebruiker gepresenteerd als geen welzijnsrisico, een gemiddeld welzijnsrisico, of een hoog welzijnsrisico. Data van 1032 kankerpati\u00ebnten werden geanalyseerd middels Hierarchical Densitiy-Based Spatial Clustering of Applications with Noise (HDBSCAN) op hoge risico scores en gemiddeld-tot-hoge risico scores afzonderlijk. Bij de analyse van de hoog risico scores werden zeven clusters onttrokken: \u00e9\u00e9n hoofdcluster met daarin de meest voorkomende fysieke en psychosociale symptomen en zes subclusters met verschillende combinaties van deze symptomen. Bij de analyse van de gemiddeld-tot-hoge risico scores werden drie clusters onttrokken: twee hoofdclusters werden ge\u00efdentificeerd, die onderscheid maakten tussen fysieke symptomen (en gevolgen daarvan) and psychosociale symptomen, en \u00e9\u00e9n subcluster met slechts problemen gerelateerd aan lichaamsgewicht. Er lijkt een inherent verschil te zijn in de co-morbiditeit van symptomen afhankelijk van de ernst van de symptomen. Bij kankerpati\u00ebnten met hoge risico scores liet de data een clustering met meer verbindingen tussen fysieke en psychosociale symptomen in verschillende subclusters zien. In kankerpati\u00ebnten met gemiddeld-tot-hoge risico scores zagen we minder verbindingen in de clustering van fysieke en psychosociale symptomen.\n\nIn hoofdstukken 2, 3 en 4 onderzochten we de psychometrische eigenschappen van drie PRMs. We beoordeelden de meerderheid van de psychometrische eigenschappen over deze drie PRMs ofwel als niet bepaalbaar (37.5%) ofwel inconsistent (25%); met iets meer dan \u00e9\u00e9n derde als voldoende (37.5%). We beoordeelden ook de kwaliteit van het bewijs voornamelijk als erg laag, laag of gemiddeld (81.8%), met de minderheid beoordeeld als hoog (18.2%). Bovendien, in een bredere systematische review naar de 29 PRMs gebruikt binnen het Oncokompas, vonden we dat voor een groot deel van deze PRMs onvoldoende informatie beschikbaar was met betrekking tot verschillende psychometrische eigenschappen. Dit is zorgwekkend, aangezien PRMs vaak toegepast worden in praktijk en wetenschap om informatie te verschaffen over de gezondheid van de pati\u00ebnt en om gezondheidszorg te evalueren. In het bijzonder is er meer onderzoek noodzakelijk naar betrouwbaarheid, meetfout, responsiviteit en cross-culturele validiteit. De validatie studie uitgevoerd betreffende de eHIQ (hoofdstuk 5) dient als een voorbeeld van hoe een validatie studie uitgevoerd kan worden volgens de COSMIN richtlijnen.\n\nHoofdstuk 6 illustreert de mogelijkheden om PRM data in te zetten voor het onderzoeken van relevante theoretische onderzoeksvragen. Door de toename van eHealth gebruik, en de inzet van PRMs door Nederlandse ziekenhuizen en zorgverzekeraars in de implementatie en focus op waarde-gedreven zorg, worden grote datasets met antwoorden op PRMs verzameld. Deze datasets kunnen ingezet worden om onderzoeksvragen te beantwoorden die normaal gesproken veel middelen vereisen om te onderzoeken. Het onderzoek naar symptoom clusters is een voorbeeld van een dergelijke onderzoeksvraag, en routinematig verzamelde data kan ingezet worden om aan deze onderzoekslijn bij te dragen. Routinematig verzamelde data kan tevens gebruikt worden voor validiteitsanalyses, met name in het onderzoek naar structurele validiteit, waarvoor bewijs vaak ontbreekt. Open datasets, gepubliceerd op platformen zoals Dataverse, LinkedScience en het Open Science Framework kunnen op eenzelfde manier ingezet worden. Onderzoek naar de test-hertest betrouwbaarheid, meetfout en responsiviteit vereisen een meer specifieke methodologische opzet. Om de inzet van middelen voor dergelijke studies te verminderen kan crowsourching worden ingezet. Resultaten van dergelijk onderzoek moet daarnaast toegankelijker overgebracht worden op de clinici en onderzoekers die daadwerkelijk gebruik maken van het meetinstrument. In een weerspiegeling van open data platforms en in lijn met de beweging van de Europese Unie naar open science, zou een platform kunnen worden ontwikkeld voor het uploaden van resultaten van validiteitsstudies, bij voorkeur inclusief de gebruikte dataset. Door gebruik te maken van machine readable formats zou dan een automatische, en kwalitatieve samenvatting van psychometrische eigenschappen kunnen worden gecre\u00eberd.","summary":"Patient Reported Measures (PRMs) are instruments completed by patients to measure various constructs. PRMs can be subdivided into two main categories: Patient Report Outcome Measures (PROMs) measure health-related quality of life and symptoms of the individual patient, while Patient Reported Experience Measures (PREMs) evaluate the quality of health care from the perspective of the patient. In this dissertation, the focus lies on PROMs and PREMs which are used in eHealth which pertains the provision of health care services through digital media. Oncokompas is an eHealth self-management application that supports Dutch cancer survivors in finding and obtaining optimal supportive care, adjusted to their personal health status and preferences. To provide personally adjusted advice, Oncokompas uses 29 widely used PRMs (besides several newly developed PRMs). The first aim of this dissertation is to investigate the measurement properties of various PRMs included in Oncokompas.\n\nMeasurement properties refer to the validity and reliability of a measurement instrument, which are crucial to determine whether the measurement instrument is capable of being used in practice. Validity is \u201cthe degree to which a measurement instrument measures the construct(s) purport to be measure\u201d, and reliability is \u201cthe degree to which the measurement is free from measurement error\u201d. Validity and reliability can be broken down into subcategories (also called measurement properties). The COnsensus-based Standards for the selection of health status Measurement INstruments (COSMIN) taxonomy and COSMIN guidelines provide a framework for discourse and interpretation of these different subcategories, specifically for PRMs. In order to investigate the measurement properties of the 29 existing PROMs and one PREM used in Oncokompas, we performed a systematic review using the COSMIN guidelines. While discussing all of the results of this systematic review is beyond the scope of this dissertation, in this dissertation, we delve deeper into the measurement properties of two PROMs that aim to assess sexuality (the International Index of Erectile Function in chapter 2, and the Female Sexual Function Index in chapter 3), and one PREM that aims to measure satisfaction with in-patient cancer care (the EORTC IN-PATSAT32 in chapter 4).\n\nThe evaluation of eHealth applications presents very specific issues. Scientific evaluation using randomized controlled trials or in-depth evaluation through user experience interviews take a lot of time and resources. Meanwhile, the development of eHealth applications is usually rapid, leading to a state of \u201cplaying catch-up\u201d for eHealth developers. The eHealth Impact Questionnaire (eHIQ) is a PREM designed to measure a users attitude towards eHealth. The second aim of this dissertation is to translate and validate the eHIQ for the Dutch population of eHealth users (chapter 5).\n\nThe use of validated and reliable PRMs in health care creates exciting possibilities. As mentioned, the use of PRMs has been promoted in routine health care in the Netherlands. PRMs are filled in by a patient at various stages of treatment, nowadays often through use of an eHealth application (e.g. a PRM presented through a website). Through these digitized PRMs an enormous amount of data is gathered. These big data sets can be used to explore theoretical questions that thus far could not be investigated on such a large scale. The third and last aim of this dissertation is to investigate symptom clusters among cancer survivors using the large dataset collected by Oncokompas to investigate symptom clusters among cancer survivors (chapter 6.\n\nThe International Index of Erectile Function (IIEF) is a PROM to evaluate erectile dysfunction and other sexual problems in males. We performed a systematic review of the measurement properties of the IIEF-15 and the IIEF-5. A systematic search of scientific literature up to April 2018 was performed. Data were extracted, and analysed according to COSMIN guidelines for structural validity, internal consistency, reliability, measurement error, hypothesis testing for construct validity and responsiveness. Evidence of measurement properties was categorized into sufficient, insufficient, inconsistent, or indeterminate, and quality of evidence as very high, high, moderate, or low. The main outcome measure was the evidence of a measurement property, and the quality of evidence based on the COSMIN guidelines. Forty studies were included. The evidence for criterion validity (of the Erectile Function subscale), and responsiveness of the IIEF-15 was sufficient (high quality), but inconsistent (moderate quality) for structural validity, internal consistency, construct validity, and test-retest reliability. Evidence for structural validity, test-retest reliability, construct validity, and criterion validity of the IIEF-5 was sufficient (moderate quality), but indeterminate for internal consistency, measurement error and responsiveness. Lack of evidence for and evidence not supporting some of the measurement properties of the IIEF-15 and IIEF-5, shows the importance of further research on the validity of these questionnaires in clinical research and clinical practice. A strength of the review was the use of pre-defined guidelines (COSMIN). A limitation of the review was the use of a precise rather than a sensitive search filter regarding measurement properties to identify studies to be included. The IIEF requires more research on structural validity (IIEF-15), internal consistency (IIEF-15 and IIEF-5), construct validity (IIEF-15), measurement error (IIEF-15 and IIEF-5), and responsiveness (IIEF-5). The most pressing matter for future research is determining the unidimensionality of the IIEF-5, and the exact factor structure of the IIEF-15.\n\nThe Female Sexual Function Index (FSFI) is a PROM measuring Female Sexual Dysfunction (FSD). The FSFI-19 was developed with six theoretical subscales in 2000. In 2010, a shortened version became available (FSFI-6). We performed a systematic review to investigate the measurement properties of the FSFI-19 and FSFI-6. A systematic search was performed of Embase, Medline, and Web of Science for studies that investigated measurement properties of the FSFI-19 or FSFI-6 up to April 2018. Data were extracted, and analyzed according to COSMIN guidelines. Evidence was categorized into sufficient, insufficient, inconsistent, or indeterminate, and quality of evidence as very high, high, moderate, or low. The main outcome measure was the evidence of a measurement property, and the quality of evidence based on the COSMIN guidelines. Eighty-three studies were included. Concerning the FSFI-19, the evidence for internal consistency was sufficient and of moderate quality. The evidence for reliability was sufficient but of low quality. The evidence for criterion validity was sufficient and of high quality. The evidence for structural validity was inconsistent of low quality. The evidence for construct validity was inconsistent of moderate quality. Concerning the FSFI-6, the evidence for criterion validity was rated as sufficient of moderate quality. The evidence for internal consistency was rated as indeterminate. The evidence for reliability was inconsistent of low quality. The evidence for construct validity was inconsistent of very low quality. No information was available on structural validity of the FSFI-6, and measurement error, responsiveness, and cross-cultural validity of both FSFI-6 and FSFI-19. Conflicting and lack of evidence for some of the measurement properties of the FSFI-19 and FSFI-6, indicates the importance of further research on the validity of these PROMs. We advise researchers whom use the FSFI-19 to perform confirmatory factor analyses and report the factor structure found in their sample. Regardless of these concerns, the FSFI-19 and FSFI-6 have strong criterion validity. Pragmatically, they are good screening tools for the current definition of FSD. A strength of the review was the use of pre-defined guidelines. A limitation was the use of a precise rather than a sensitive search filter. The FSFI requires more research on structural validity (FSFI-19 and FSFI-6), reliability (FSFI-6), construct validity (FSFI-19), measurement error (FSFI-19 and FSFI-6), and responsiveness (FSFI-19 and FSFI-6). Further corroboration of measurement invariance (both across cultures and across subpopulations) in the factor structure of the FSFI-19 is necessary, as well as tests for the unidimensionality of the FSFI-6.\n\nThe EORTC IN-PATSAT32 is a patient reported outcome measure (PROM) to assess cancer patients\u2019 satisfaction with in-patient health care. We investigated whether the initial good measurement properties of the IN-PATSAT32 were confirmed in new studies. Within the scope of a larger systematic review study (Prospero ID 42017057237), a systematic search was performed of Embase, Medline, PsycINFO, and Web of Science for studies that investigated measurement properties of the IN-PATSAT32 up to July 2017. Study quality was assessed, data were extracted, and synthesized according to the COSMIN guidelines. Nine studies were included in this review. The evidence on reliability and construct validity were rated as sufficient and of the quality of the evidence as moderate. The evidence on structural validity was rated as insufficient and of low quality. The evidence on internal consistency was indeterminate. Measurement error, responsiveness, criterion validity, and cross-cultural validity were not reported in the included studies. Measurement error could be calculated for two studies, and was judged indeterminate. In summary, the IN-PATSAT32 performs as expected with respect to reliability and construct validity. No firm conclusions can be made yet whether the IN-PATSAT32 also performs as well with respect to structural validity and internal consistency. Further research on these measurement properties of the PROM is therefore needed as well as on measurement error, responsiveness, criterion validity, and cross-cultural validity. For future validation studies, it is recommended to take the COSMIN methodology into account.\n\nMeasurement Error represents the minimum amount of change measured by a measurement tool, of which we can be sure is not an artefact of systematic error. In a large-scale systematic review, we found that only 4.14% of validation articles reported on measurement error, and measurement error could be calculated for another 3.82% of articles. To illustrate the implications measurement error has on clinical research, a simulation study was conducted. Simulations were run on a hypothetical randomized controlled trial for the treatment of depression as measured by the Beck Depression Inventory-II. Baseline values and a decrease over time of depressive symptoms for untreated depression (control condition) were extracted from literature. The Minimal Clinically Important Difference (MCID) was used as a measure of effect size for the further decrease over time of the treatment condition. Three parameters were systematically varied across simulations: sample size (250 \/ 500 \/ 750), effect size (0*MCID \/ 1*MCID \/ 2*MCID \/ 3*MCID), and measurement error (0% \/ 10% \/ 20% \/ 30% \/ 40%). Each parameter combination was simulated 5000 times. The relative bias is the bias of the coefficient of interest. The relative bias became more biased from near zero (with no measurement error) to -0.5 (with 30% and 40% measurement error). Furthermore, higher effect sizes showed more relative bias. ETA Squared is a measure of effect size. The ETA Squared ranges from 0 to 0.525 when there is 0% measurement error, dependent on the effect size parameter. Every ETA squared drifted further towards zero with more added measurement error. The results of the simulation showed an increase in bias with the addition of more measurement error. Furthermore, this effect seemed to be stronger for higher effect sizes. The result of this bias is a decrease of effect size, which is especially dramatic upwards of 20% measurement error. It appears that measurement error affects power to detect a true effect.\n\nThe eHealth Impact Questionnaire (eHIQ) provides a standardized method to measure attitudes of electronic health (eHealth) users towards eHealth. It has previously been validated in a population of eHealth users in the United Kingdom, and consists of 2 parts and 5 subscales. Part 1 measures attitudes toward eHealth in general and consists of the subscales Attitudes towards online health information (5 items), and Attitudes towards sharing health experiences online (6 items). Part 2 measures the attitude towards a particular eHealth application and consists of the subscales Confidence and identification (9 items), Information and presentation (8 items), and Understand and motivation (9 items). The eHIQ was translated and validated in accordance with the COSMIN criteria. The validation comprised 3 study samples with a total of 1287 participants. Structural validity was assessed using confirmatory factor analyses and exploratory factor analyses (EFAs; all 3 samples). Internal consistency was assessed using hierarchical omega (all 3 samples). Test-retest reliability was assessed after 2 weeks, using two-way intraclass correlation coefficients (sample 1). Measurement error was assessed by calculating the smallest detectable change (sample 1). Convergent and divergent validity were assessed using correlations with the remaining measures (all 3 samples). A graded response model was fit and item information curves were plotted to describe the information provided by items across item trait levels (all 3 samples). The original factor structure showed a bad fit in all 3 study samples. EFAs showed a good fit for a modified factor structure in the first study sample. This factor structure was subsequently tested in sample 2 and 3, and showed acceptable to good fits. Internal consistency, test-retest reliability, convergent validity, and divergent validity were acceptable to good for both the original as the modified factor structure, except for test-retest reliability of one of the original subscales, and the 2 derivative subscales in the modified factor structure. The graded response model showed that some items underperformed in both the original and modified factor structure. The Dutch version of the eHIQ (eHIQ-NL) shows a different factor structure compared with the original English version. Part 1 of the eHIQ-NL consists of 3 subscales: Attitudes towards online health information (5 items), Comfort with sharing health experiences online (3 items), and Usefulness of sharing health experiences online (3 items). Part 2 of the eHIQ-NL consists of three subscales: Motivation and confidence to act (10 items), Information and presentation (13 items), and Identification (3 items).\n\nKnowledge regarding symptom clusters may inform targeted interventions. We investigated symptoms clusters among cancer survivors, using machine learning techniques on a large data set. Data were used of cancer survivors who used the fully automated online application \u2018Oncokompas\u2019. Oncokompas supports survivors in their self-management by 1) monitoring their symptoms through PROMs; and 2) providing tailored feedback on their scores with a personalized overview of supportive care options, aiming to reduce symptoms burden and improve health-related quality of life. In the present study, data on 26 generic symptoms (physical and psychosocial) were used. Results of the PROM of each symptom are presented to the user as a no well-being risk, moderate well-being risk, or high well-being risk score. Data of 1032 cancer survivors were analysed using Hierarchical Density-Based Spatial Clustering of Applications with Noise (HDBSCAN) on high risk scores and moderate-to-high risk scores separately.\n\nWhen analysing the high risk scores, seven clusters were extracted: one main cluster which contained most frequently occurring physical and psychosocial symptoms, and six subclusters with different combinations of these symptoms. When analysing moderate-to-high risk scores, three clusters were extracted: two main clusters were identified, which separated physical symptoms (and their consequences) and psychosocial symptoms, and one subcluster with only body weight issues. There appears to be an inherent difference on the co-occurrence of symptoms dependent on symptom severity. Among survivors with high risk scores, the data showed a clustering of more connections between physical and psychosocial symptoms in separate subclusters. Among survivors with moderate-to-high risk scores, we observed less connections in the clustering between physical and psychosocial symptoms.\n\nAcross chapters 2, 3 and, 4 we investigated the measurement properties of three PRMs. We found that the majority of measurement properties across the three PRMs were rated as either indeterminate (37.5%), or inconsistent (25%); with a little over one third rated as sufficient (37.5%). We also found that the quality of evidence was mostly very low, low or moderate (81.8%), with a minority rated as high (18.2%). Furthermore, in a broader systematic review on the 29 PRMs used in Oncokompas, we found that for many of these PRMs information was missing with respect multiple measurement properties. This is concerning, as PRMs are often used in practice and research to inform on patient health and to evaluate health care. In particular, more research is necessary on reliability, measurement error, responsiveness, and cross-cultural validity. The validation study performed of the eHIQ-NL (chapter 5) serves as an example of how a validation study can be performed which would rate well on the COSMIN guidelines.\n\nChapter 6 illustrates the possibility of using PRM data to investigate relevant theoretical research questions. With the increase of eHealth usage, and PRMs being adopted by Dutch hospitals and Dutch health care insurers to implement and focus on value-based health care, large datasets of PRM responses are gathered. These datasets can be used to investigate research questions, that would otherwise require lots of resources to investigate. The investigation of symptom clusters is one such research question, and routinely collected data could be used to further this line of research. Routinely collected data could also be used for validation analyses, most notably in the investigation of structural validity for which evidence is often lacking. Open datasets published on platforms such as Dataverse, LinkedScience, and the Open Science Framework could be used in similar fashion. Investigation into test-retest reliability, measurement error, and responsiveness requires a more specific methodological design. To reduce the resources needed for such studies, crowdsourcing may be used. Results of such research also needs to be conveyed more appropriately towards clinicians and researchers that actually use the measurement instrument. Mirroring open data platforms - as well as being in line with the the movement towards open science by the European Union - a platform could be devised where researchers who have performed validation analyses could upload their results, preferably including the dataset itself. By using machine readable formats, an automatic qualitative aggregation of measurement properties could be created.","auteur":"Koen Neijenhuijs","auteur_slug":"koen-neijenhuijs","publicatiedatum":"8 april 2020","taal":"EN","url_flipbook":"https:\/\/ebook.proefschriftmaken.nl\/ebook\/koenneijenhuijs?iframe=true","url_download_pdf":"https:\/\/ebook.proefschriftmaken.nl\/download\/2fc2c199-725b-44d6-a7f3-896cc3fdca96\/optimized","url_epub":"","ordernummer":"FTP-202604031428","isbn":"978-94-6380-736-4","doi_nummer":"","naam_universiteit":"Vrije Universiteit Amsterdam","afbeeldingen":13930,"video_url":"","podcast_url":"","naam_student:":"","binnenwerk":"","universiteit":"Vrije Universiteit Amsterdam","cover":"","afwerking":"","cover_afwerking":"","design":""},"_links":{"self":[{"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/8401","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio"}],"about":[{"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/types\/us_portfolio"}],"author":[{"embeddable":true,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/comments?post=8401"}],"version-history":[{"count":1,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/8401\/revisions"}],"predecessor-version":[{"id":8404,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio\/8401\/revisions\/8404"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media\/13930"}],"wp:attachment":[{"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/media?parent=8401"}],"wp:term":[{"taxonomy":"us_portfolio_category","embeddable":true,"href":"https:\/\/dodo.proefschriftmaken.nl\/en\/wp-json\/wp\/v2\/us_portfolio_category?post=8401"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}