Hodnotenie učebných osnov a fakulty je kľúčové pre všetky inštitúcie vyššieho vzdelávania vrátane lekárskych fakúlt. Študentské hodnotenia výučby (SET) majú zvyčajne formu anonymných dotazníkov a hoci boli pôvodne vyvinuté na hodnotenie kurzov a programov, časom sa začali používať aj na meranie efektívnosti výučby a následne na prijímanie dôležitých rozhodnutí súvisiacich s výučbou. Profesionálny rozvoj učiteľov. Skóre SET však môžu ovplyvniť určité faktory a predsudky a efektívnosť výučby nemožno objektívne merať. Hoci je literatúra o hodnotení kurzov a fakulty vo všeobecnom vysokoškolskom vzdelávaní dobre zavedená, existujú obavy týkajúce sa používania rovnakých nástrojov na hodnotenie kurzov a fakulty v lekárskych programoch. SET vo všeobecnom vysokoškolskom vzdelávaní nemožno priamo aplikovať na návrh a implementáciu kurikula na lekárskych fakultách. Táto recenzia poskytuje prehľad o tom, ako možno SET zlepšiť na úrovni nástrojov, riadenia a interpretácie. Okrem toho tento článok poukazuje na to, že použitím rôznych metód, ako je vzájomné hodnotenie, fokusové skupiny a sebahodnotenie, na zhromažďovanie a trianguláciu údajov z viacerých zdrojov vrátane študentov, rovesníkov, manažérov programov a sebauvedomenia, je možné vytvoriť komplexný systém hodnotenia. Efektívne merať efektivitu výučby, podporovať profesionálny rozvoj zdravotníckych pedagógov a zlepšovať kvalitu výučby v medicínskom vzdelávaní.
Hodnotenie kurzov a programov je proces internej kontroly kvality vo všetkých inštitúciách vyššieho vzdelávania vrátane lekárskych fakúlt. Študentské hodnotenie výučby (SET) má zvyčajne formu anonymného papiera alebo online dotazníka s použitím hodnotiacej stupnice, ako je Likertova stupnica (zvyčajne päť, sedem alebo vyššia), ktorá umožňuje ľuďom vyjadriť svoj súhlas alebo stupeň súhlasu. Nesúhlasím s konkrétnymi tvrdeniami) [1,2,3]. Hoci SET boli pôvodne vyvinuté na hodnotenie kurzov a programov, časom sa začali používať aj na meranie efektívnosti výučby [4, 5, 6]. Efektívnosť výučby sa považuje za dôležitú, pretože sa predpokladá, že existuje pozitívny vzťah medzi efektívnosťou výučby a učením študentov [7]. Hoci literatúra jasne nedefinuje efektívnosť vzdelávania, zvyčajne sa špecifikuje prostredníctvom špecifických charakteristík vzdelávania, ako je „interakcia skupiny“, „príprava a organizácia“, „spätná väzba študentom“ [8].
Informácie získané zo SET môžu poskytnúť užitočné informácie, napríklad či je potrebné upraviť výučbové materiály alebo vyučovacie metódy používané v konkrétnom kurze. SET sa tiež používa na prijímanie dôležitých rozhodnutí týkajúcich sa profesionálneho rozvoja učiteľov [4, 5, 6]. Vhodnosť tohto prístupu je však otázna, keď vysoké školy rozhodujú o fakulte, ako je povýšenie do vyšších akademických hodností (často spojené so zvýšením seniority a platu) a kľúčových administratívnych pozícií v rámci inštitúcie [4, 9]. Okrem toho inštitúcie často vyžadujú, aby noví učitelia do svojich žiadostí o nové pozície zahrnuli aj SET-ov z predchádzajúcich inštitúcií, čím ovplyvňujú nielen povýšenie učiteľov v rámci inštitúcie, ale aj potenciálnych nových zamestnávateľov [10].
Hoci je literatúra o učebných osnovách a hodnotení učiteľov v oblasti všeobecného vysokoškolského vzdelávania dobre etablovaná, v oblasti medicíny a zdravotnej starostlivosti to tak nie je [11]. Učebné osnovy a potreby zdravotníckych pedagógov sa líšia od potreb vo všeobecnom vysokoškolskom vzdelávaní. Napríklad tímové učenie sa často používa v integrovaných kurzoch lekárskej výchovy. To znamená, že učebné osnovy lekárskej fakulty pozostávajú zo série kurzov, ktoré vyučuje niekoľko členov fakulty, ktorí majú vzdelanie a skúsenosti v rôznych lekárskych disciplínach. Hoci študenti v rámci tejto štruktúry profitujú z hĺbkových znalostí odborníkov v danej oblasti, často čelia výzve prispôsobiť sa rôznym štýlom výučby každého učiteľa [1, 12, 13, 14].
Hoci existujú rozdiely medzi všeobecným vysokoškolským vzdelávaním a lekárskym vzdelávaním, SET používaný v prvom prípade sa niekedy používa aj v kurzoch medicíny a zdravotnej starostlivosti. Implementácia SET vo všeobecnom vysokoškolskom vzdelávaní však predstavuje mnoho výziev, pokiaľ ide o hodnotenie učebných osnov a fakulty v programoch pre zdravotníckych pracovníkov [11]. Najmä kvôli rozdielom vo výučbových metódach a kvalifikácii učiteľov nemusia výsledky hodnotenia kurzov zahŕňať názory študentov na všetkých učiteľov alebo kurzy. Výskum Uytenhaage a O'Neilla (2015) [5] naznačuje, že žiadať študentov, aby na konci kurzu ohodnotili všetkých jednotlivých učiteľov, môže byť nevhodné, pretože je pre študentov takmer nemožné zapamätať si a komentovať viacero kategórií hodnotení učiteľov. Okrem toho, mnohí učitelia lekárskeho vzdelávania sú zároveň lekári, pre ktorých je výučba len malou časťou ich zodpovedností [15, 16]. Keďže sa primárne zaoberajú starostlivosťou o pacientov a v mnohých prípadoch aj výskumom, často majú málo času na rozvoj svojich pedagogických zručností. Lekári ako učitelia by však mali dostávať čas, podporu a konštruktívnu spätnú väzbu od svojich organizácií [16].
Študenti medicíny bývajú vysoko motivovaní a pracovití jednotlivci, ktorí sa úspešne dostanú na lekársku fakultu (prostredníctvom konkurenčného a náročného medzinárodného procesu). Okrem toho sa od študentov medicíny počas štúdia medicíny očakáva, že v krátkom čase získajú veľké množstvo vedomostí a rozvinú si veľké množstvo zručností, ako aj že uspejú v komplexných interných a komplexných národných hodnoteniach [17, 18, 19, 20]. Vzhľadom na vysoké štandardy očakávané od študentov medicíny môžu byť študenti medicíny kritickejší a mať vyššie očakávania týkajúce sa vysokej kvality výučby ako študenti v iných odboroch. Študenti medicíny tak môžu mať od svojich profesorov nižšie hodnotenie v porovnaní so študentmi v iných odboroch z vyššie uvedených dôvodov. Je zaujímavé, že predchádzajúce štúdie preukázali pozitívny vzťah medzi motiváciou študentov a individuálnym hodnotením učiteľov [21]. Okrem toho sa za posledných 20 rokov väčšina učebných osnov lekárskych fakúlt na celom svete stala vertikálne integrovanou [22], takže študenti sú vystavení klinickej praxi od prvých rokov svojho štúdia. Preto sa lekári v posledných rokoch čoraz viac zapájajú do vzdelávania študentov medicíny a už na začiatku svojich programov potvrdzujú dôležitosť vývoja tréningových plánov prispôsobených špecifickým skupinám fakulty [22].
Vzhľadom na špecifickú povahu vyššie uvedeného lekárskeho vzdelávania by sa modely SET používané na hodnotenie všeobecných kurzov vyššieho vzdelávania vyučovaných jedným členom fakulty mali prispôsobiť na hodnotenie integrovaného učebného plánu a klinickej fakulty lekárskych programov [14]. Preto je potrebné vyvinúť efektívnejšie modely SET a komplexné systémy hodnotenia pre efektívnejšie uplatnenie v lekárskom vzdelávaní.
Táto recenzia opisuje nedávny pokrok vo využívaní SET vo (všeobecnom) vysokoškolskom vzdelávaní a jeho obmedzenia a následne načrtáva rôzne potreby SET pre kurzy a fakultu medicínskeho vzdelávania. Táto recenzia poskytuje aktualizáciu o tom, ako možno SET zlepšiť na inštrumentálnej, administratívnej a interpretačnej úrovni, a zameriava sa na ciele vývoja účinných modelov SET a komplexných systémov hodnotenia, ktoré budú účinne merať efektivitu výučby, podporovať rozvoj profesionálnych zdravotníckych pedagógov a zlepšovať kvalitu výučby v medicínskom vzdelávaní.
Táto štúdia nadväzuje na štúdiu Greena a kol. (2006) [23], ktorá poskytovala rady, a Baumeistera (2013) [24], ktorý poskytol rady týkajúce sa písania naratívnych recenzií. Rozhodli sme sa napísať naratívnu recenziu na túto tému, pretože tento typ recenzie pomáha prezentovať široký pohľad na danú tému. Navyše, keďže naratívne recenzie čerpajú z metodologicky rozmanitých štúdií, pomáhajú odpovedať na širšie otázky. Naratívny komentár môže navyše pomôcť stimulovať zamyslenie a diskusiu o danej téme.
Ako sa SET používa v medicínskom vzdelávaní a aké sú výzvy v porovnaní so SET používaným vo všeobecnom vysokoškolskom vzdelávaní,
Databázy Pubmed a ERIC boli prehľadávané kombináciou vyhľadávacích výrazov „hodnotenie študentskej výučby“, „efektívnosť výučby“, „medicínske vzdelávanie“, „vysokoškolské vzdelávanie“, „hodnotenie učebných osnov a fakulty“ a pre Peer Review 2000 logických operátorov. Kritériá zaradenia: Zahrnuté štúdie boli originálne štúdie alebo prehľadové články a štúdie boli relevantné pre oblasti troch hlavných výskumných otázok. Kritériá vylúčenia: Štúdie, ktoré neboli v anglickom jazyku, alebo štúdie, v ktorých nebolo možné nájsť články v plnom texte alebo neboli relevantné pre tri hlavné výskumné otázky, boli z aktuálneho prehľadového dokumentu vylúčené. Po výbere publikácií boli usporiadané do nasledujúcich tém a súvisiacich podtém: (a) Využitie SET vo všeobecnom vysokoškolskom vzdelávaní a jeho obmedzenia, (b) Využitie SET v lekárskom vzdelávaní a jeho relevantnosť pre riešenie otázok súvisiacich s porovnaním SET, (c) Zlepšenie SET na inštrumentálnej, manažérskej a interpretačnej úrovni s cieľom vyvinúť efektívne modely SET.
Obrázok 1 zobrazuje vývojový diagram vybraných článkov zahrnutých a diskutovaných v aktuálnej časti prehľadu.
SET sa tradične používa vo vysokoškolskom vzdelávaní a táto téma je v literatúre dobre preskúmaná [10, 21]. Veľké množstvo štúdií však skúmalo ich početné obmedzenia a snahy o ich riešenie.
Výskum ukazuje, že existuje mnoho premenných, ktoré ovplyvňujú skóre SET [10, 21, 25, 26]. Preto je dôležité, aby administrátori a učitelia rozumeli týmto premenným pri interpretácii a používaní údajov. Nasledujúca časť poskytuje stručný prehľad týchto premenných. Obrázok 2 zobrazuje niektoré faktory, ktoré ovplyvňujú skóre SET a ktoré sú podrobne opísané v nasledujúcich častiach.
V posledných rokoch sa používanie online súprav zvýšilo v porovnaní s papierovými súpravami. Dôkazy v literatúre však naznačujú, že online SET je možné absolvovať bez toho, aby študenti venovali potrebnú pozornosť procesu dokončovania. V zaujímavej štúdii Uitdehaage a O'Neilla [5] boli do SET pridaní neexistujúci učitelia a mnohí študenti poskytli spätnú väzbu [5]. Okrem toho dôkazy v literatúre naznačujú, že študenti sa často domnievajú, že absolvovanie SET nevedie k zlepšeniu dosiahnutého vzdelania, čo v kombinácii s nabitým programom študentov medicíny môže viesť k nižšej miere odpovedí [27]. Hoci výskum ukazuje, že názory študentov, ktorí absolvujú test, sa nelíšia od názorov celej skupiny, nízka miera odpovedí môže stále viesť k tomu, že učitelia berú výsledky menej vážne [28].
Väčšina online testov SET sa vypĺňa anonymne. Cieľom je umožniť študentom slobodne vyjadriť svoje názory bez predpokladu, že ich vyjadrenie bude mať akýkoľvek vplyv na ich budúce vzťahy s učiteľmi. V štúdii Alfonsa a kol. [29] výskumníci použili anonymné hodnotenia a hodnotenia, v ktorých hodnotitelia museli uviesť svoje mená (verejné hodnotenia), aby vyhodnotili efektívnosť výučby lekárskych fakúlt rezidentmi a študentmi medicíny. Výsledky ukázali, že učitelia vo všeobecnosti dosiahli v anonymných hodnoteniach nižšie skóre. Autori tvrdia, že študenti sú v anonymných hodnoteniach úprimnejší kvôli určitým prekážkam v otvorených hodnoteniach, ako sú napríklad poškodené pracovné vzťahy so zúčastnenými učiteľmi [29]. Treba však tiež poznamenať, že anonymita, ktorá sa často spája s online testami SET, môže viesť niektorých študentov k neúcte a odvetným opatreniam voči inštruktorovi, ak skóre hodnotenia nespĺňa očakávania študentov [30]. Výskum však ukazuje, že študenti zriedka poskytujú neúctivú spätnú väzbu a tú možno ďalej obmedziť tým, že sa študenti naučia poskytovať konštruktívnu spätnú väzbu [30].
Niekoľko štúdií ukázalo, že existuje korelácia medzi skóre študentov v testoch SET, ich očakávaniami v oblasti výkonu v testoch a ich spokojnosťou s testami [10, 21]. Napríklad Strobe (2020) [9] uviedol, že študenti odmeňujú ľahké predmety a učitelia odmeňujú slabé známky, čo môže viesť k zlej výučbe a k inflácii známok [9]. V nedávnej štúdii Looi a kol. (2020) [31] výskumníci uviedli, že priaznivejšie SET spolu súvisia a ľahšie sa hodnotia. Navyše existujú znepokojujúce dôkazy o tom, že SET je nepriamo úmerný výkonu študentov v nasledujúcich predmetoch: čím vyššie hodnotenie, tým horší výkon študentov v nasledujúcich predmetoch. Cornell a kol. (2016) [32] vykonali štúdiu, aby preskúmali, či sa vysokoškoláci naučili relatívne viac od učiteľov, ktorých SET hodnotili vysoko. Výsledky ukazujú, že keď sa učenie hodnotí na konci kurzu, učitelia s najvyšším hodnotením tiež prispievajú k učeniu väčšiny študentov. Ak sa však učenie meria výkonom v nasledujúcich relevantných predmetoch, učitelia s relatívne nízkym skóre sú najefektívnejší. Výskumníci predpokladali, že zvýšenie náročnosti kurzu produktívnym spôsobom by mohlo znížiť hodnotenie, ale zlepšiť učenie. Hodnotenie študentov by preto nemalo byť jediným základom pre hodnotenie výučby, ale malo by byť uznávané.
Niekoľko štúdií ukazuje, že výkon v testoch SET je ovplyvnený samotným kurzom a jeho organizáciou. Ming a Baozhi [33] vo svojej štúdii zistili, že medzi študentmi v rôznych predmetoch existujú významné rozdiely v skóre v testoch SET. Napríklad klinické vedy majú vyššie skóre v testoch SET ako základné vedy. Autori vysvetlili, že je to preto, lebo študenti medicíny majú záujem stať sa lekármi, a preto majú osobný záujem a vyššiu motiváciu zúčastňovať sa viac na kurzoch klinických vied v porovnaní so základnými kurzami vied [33]. Rovnako ako v prípade voliteľných predmetov, aj motivácia študentov pre daný predmet má pozitívny vplyv na skóre [21]. Niekoľko ďalších štúdií tiež podporuje tvrdenie, že typ kurzu môže ovplyvniť skóre v testoch SET [10, 21].
Okrem toho, iné štúdie ukázali, že čím menšia je trieda, tým vyššiu úroveň SET dosahujú učitelia [10, 33]. Jedným z možných vysvetlení je, že menšia veľkosť tried zvyšuje príležitosti na interakciu medzi učiteľom a študentom. Okrem toho, podmienky, v ktorých sa hodnotenie vykonáva, môžu ovplyvniť výsledky. Napríklad, skóre SET sa zdá byť ovplyvnené časom a dňom, kedy sa kurz vyučuje, ako aj dňom v týždni, kedy sa SET vykonáva (napr. hodnotenia vykonané cez víkendy majú tendenciu viesť k pozitívnejším skóre) ako hodnotenia vykonané skôr v týždni [10].
Zaujímavá štúdia Hesslera a kol. tiež spochybňuje účinnosť SET. [34]. V tejto štúdii sa uskutočnila randomizovaná kontrolovaná štúdia v kurze urgentnej medicíny. Študenti medicíny tretieho ročníka boli náhodne rozdelení buď do kontrolnej skupiny, alebo do skupiny, ktorá dostala bezplatné čokoládové sušienky (skupina so sušienkami). Všetky skupiny učili tí istí učitelia a obsah školenia a študijné materiály boli pre obe skupiny rovnaké. Po kurze boli všetci študenti požiadaní, aby vyplnili sadu. Výsledky ukázali, že skupina so sušienkami hodnotila učiteľov výrazne lepšie ako kontrolná skupina, čo spochybňuje účinnosť SET [34].
Dôkazy v literatúre tiež podporujú názor, že pohlavie môže ovplyvniť skóre SET [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Napríklad niektoré štúdie preukázali vzťah medzi pohlavím študentov a výsledkami hodnotenia: študentky dosiahli vyššie skóre ako študenti [27]. Väčšina dôkazov potvrdzuje, že študenti hodnotia učiteľky nižšie ako učiteľov [37, 38, 39, 40]. Napríklad Boring a kol. [38] ukázali, že študenti aj študentky verili, že muži majú viac vedomostí a silnejšie vodcovské schopnosti ako ženy. Skutočnosť, že pohlavie a stereotypy ovplyvňujú SET, podporuje aj štúdia MacNella a kol. [41], ktorý uviedol, že študenti v jeho štúdii hodnotili učiteľky nižšie ako učiteľov v rôznych aspektoch výučby [41]. Okrem toho Morgan a kol. [42] poskytli dôkazy o tom, že lekárky dostávali nižšie hodnotenie výučby v štyroch hlavných klinických odboroch (chirurgia, pediatria, pôrodníctvo a gynekológia a interná medicína) v porovnaní s lekármi.
V štúdii Murraya a kol. (2020) [43] výskumníci uviedli, že atraktívnosť fakulty a záujem študentov o kurz boli spojené s vyšším skóre SET. Naopak, náročnosť kurzu je spojená s nižším skóre SET. Okrem toho študenti udelili vyššie skóre SET mladým bielym mužským učiteľom humanitných vied a fakulte s riadnou profesúrou. Medzi hodnoteniami výučby SET a výsledkami prieskumu medzi učiteľmi sa nezistila žiadna korelácia. Ďalšie štúdie tiež potvrdzujú pozitívny vplyv fyzickej atraktívnosti učiteľov na výsledky hodnotenia [44].
Clayson a kol. (2017) [45] uviedli, že hoci panuje všeobecná zhoda v tom, že SET prináša spoľahlivé výsledky a že priemery tried a učiteľov sú konzistentné, v odpovediach jednotlivých študentov stále existujú nezrovnalosti. Stručne povedané, výsledky tejto hodnotiacej správy naznačujú, že študenti nesúhlasili s tým, čo mali hodnotiť. Miery spoľahlivosti odvodené zo študentských hodnotení výučby nie sú dostatočné na to, aby poskytli základ pre stanovenie validity. Preto môže SET niekedy poskytovať informácie skôr o študentoch ako o učiteľoch.
SET v oblasti zdravotnej výchovy sa líši od tradičného SET, ale pedagógovia často používajú SET dostupný vo všeobecnom vysokoškolskom vzdelávaní, a nie SET špecifický pre programy zdravotníckych profesií, o ktorých sa hovorí v literatúre. Štúdie vykonané v priebehu rokov však identifikovali niekoľko problémov.
Jones a kol. (1994). [46] vykonali štúdiu s cieľom určiť otázku, ako hodnotiť pedagógov lekárskych fakúlt z pohľadu pedagógov a administratívnych pracovníkov. Celkovo sa najčastejšie spomínané problémy týkali hodnotenia výučby. Najčastejšie boli všeobecné sťažnosti na nedostatočnosť súčasných metód hodnotenia výkonu, pričom respondenti sa tiež vyjadrili konkrétne sťažnosti na SET a nedostatočné uznanie výučby v akademických systémoch odmeňovania. Medzi ďalšie hlásené problémy patrili nekonzistentné postupy hodnotenia a kritériá povýšenia naprieč katedrami, nedostatok pravidelných hodnotení a neprepojenie výsledkov hodnotenia s platmi.
Royal a kol. (2018) [11] načrtávajú niektoré obmedzenia používania SET na hodnotenie učebných osnov a fakulty v programoch pre zdravotníckych pracovníkov vo všeobecnom vysokoškolskom vzdelávaní. Výskumníci uvádzajú, že SET vo vysokoškolskom vzdelávaní čelí rôznym výzvam, pretože ho nemožno priamo aplikovať na tvorbu učebných osnov a výučbu kurzov na lekárskych fakultách. Často kladené otázky vrátane otázok o inštruktorovi a kurze sú často kombinované do jedného dotazníka, takže študenti majú často problém medzi nimi rozlíšiť. Okrem toho kurzy v lekárskych programoch často vyučuje viacero členov fakulty. To vyvoláva otázky o validite vzhľadom na potenciálne obmedzený počet interakcií medzi študentmi a učiteľmi, ktoré hodnotili Royal a kol. (2018) [11]. V štúdii Hwanga a kol. (2017) [14] výskumníci skúmali koncept toho, ako retrospektívne hodnotenia kurzov komplexne odrážajú vnímanie kurzov rôznych inštruktorov študentmi. Ich výsledky naznačujú, že individualizované hodnotenie kurzov je nevyhnutné na riadenie viacodborových kurzov v rámci integrovaného učebného plánu lekárskej fakulty.
Uitdehaage a O'Neill (2015) [5] skúmali, do akej miery študenti medicíny zámerne absolvovali SET v rámci viacfakultného kurzu v učebni. Každý z dvoch predklinických kurzov mal fiktívneho lektora. Študenti musia poskytnúť anonymné hodnotenia všetkým lektorom (vrátane fiktívnych lektorov) do dvoch týždňov od absolvovania kurzu, ale môžu odmietnuť hodnotiť lektora. Nasledujúci rok sa to stalo znova, ale bol zahrnutý aj portrét fiktívneho lektora. Šesťdesiatšesť percent študentov hodnotilo virtuálneho lektora bez podobnosti, ale menej študentov (49 %) hodnotilo virtuálneho lektora s podobnosťou. Tieto zistenia naznačujú, že mnohí študenti medicíny absolvujú SET naslepo, aj keď sú sprevádzané fotografiami, bez dôkladného zváženia toho, koho hodnotia, nieto ešte výkon lektora. To bráni zlepšovaniu kvality programu a môže to byť škodlivé pre akademický pokrok učiteľov. Výskumníci navrhujú rámec, ktorý ponúka radikálne odlišný prístup k SET, ktorý aktívne a aktívne zapája študentov.
Existuje mnoho ďalších rozdielov vo vzdelávacích osnovách lekárskych programov v porovnaní s inými všeobecnými programami vyššieho vzdelávania [11]. Lekárske vzdelávanie, podobne ako profesionálna zdravotná výchova, sa jasne zameriava na rozvoj jasne definovaných profesionálnych rolí (klinická prax). V dôsledku toho sa učebné osnovy lekárskych a zdravotníckych programov stávajú statickejšími s obmedzeným výberom kurzov a fakulty. Je zaujímavé, že kurzy lekárskej výchovy sa často ponúkajú v kohortovej forme, pričom všetci študenti absolvujú ten istý kurz v rovnakom čase každý semester. Preto zápis veľkého počtu študentov (zvyčajne n = 100 alebo viac) môže ovplyvniť formát výučby, ako aj vzťah medzi učiteľom a študentom. Navyše, na mnohých lekárskych fakultách sa psychometrické vlastnosti väčšiny nástrojov nehodnotia pri prvom použití a vlastnosti väčšiny nástrojov môžu zostať neznáme [11].
Niekoľko štúdií z posledných rokov poskytlo dôkazy o tom, že SET je možné zlepšiť riešením niektorých dôležitých faktorov, ktoré môžu ovplyvniť účinnosť SET na inštrumentálnej, administratívnej a interpretačnej úrovni. Obrázok 3 zobrazuje niektoré kroky, ktoré možno použiť na vytvorenie efektívneho modelu SET. Nasledujúce časti poskytujú podrobnejší popis.
Zlepšiť SET na inštrumentálnej, manažérskej a interpretačnej úrovni s cieľom vyvinúť efektívne SET modely.
Ako už bolo spomenuté, literatúra potvrdzuje, že rodová zaujatosť môže ovplyvniť hodnotenie učiteľov [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Peterson a kol. (2019) [40] vykonali štúdiu, ktorá skúmala, či pohlavie študentov ovplyvnilo ich reakcie na snahy o zmiernenie zaujatosti. V tejto štúdii bol test SET aplikovaný na štyri triedy (dve učili mužskí učitelia a dve ženy). V rámci každého kurzu boli študenti náhodne rozdelení do skupín, ktoré dostali štandardný hodnotiaci nástroj alebo rovnaký nástroj, ale s použitím jazyka určeného na zníženie rodovej zaujatosti. Štúdia zistila, že študenti, ktorí používali hodnotiace nástroje proti zaujatosti, udelili učiteľkám výrazne vyššie skóre v teste SET ako študenti, ktorí používali štandardné hodnotiace nástroje. Okrem toho neboli žiadne rozdiely v hodnotení učiteľov medzi týmito dvoma skupinami. Výsledky tejto štúdie sú významné a ukazujú, ako relatívne jednoduchý jazykový zásah môže znížiť rodovú zaujatosť v hodnotení výučby študentmi. Preto je dobrou praxou starostlivo zvážiť všetky testy SET a používať jazyk na zníženie rodovej zaujatosti pri ich vývoji [40].
Aby sa z akéhokoľvek SET dosiahli užitočné výsledky, je dôležité vopred starostlivo zvážiť účel hodnotenia a znenie otázok. Hoci väčšina prieskumov SET jasne uvádza časť o organizačných aspektoch kurzu, t. j. „Hodnotenie kurzu“, a časť o fakulte, t. j. „Hodnotenie učiteľa“, v niektorých prieskumoch nemusí byť rozdiel zrejmý alebo môže medzi študentmi panovať zmätok o tom, ako hodnotiť každú z týchto oblastí jednotlivo. Preto musí byť návrh dotazníka vhodný, musí objasňovať dve rôzne časti dotazníka a študentov informovať o tom, čo by sa malo v každej oblasti hodnotiť. Okrem toho sa odporúča pilotné testovanie, aby sa zistilo, či študenti interpretujú otázky zamýšľaným spôsobom [24]. V štúdii Oermanna a kol. (2018) [26] výskumníci vyhľadali a syntetizovali literatúru opisujúcu používanie SET v širokej škále disciplín v bakalárskom a magisterskom vzdelávaní, aby poskytli pedagógom usmernenie k používaniu SET v ošetrovateľstve a iných programoch pre zdravotníckych pracovníkov. Výsledky naznačujú, že nástroje SET by sa mali pred použitím vyhodnotiť, vrátane pilotného testovania nástrojov so študentmi, ktorí nemusia byť schopní interpretovať položky alebo otázky nástroja SET tak, ako ich zamýšľal inštruktor.
Niekoľko štúdií skúmalo, či model riadenia SET ovplyvňuje angažovanosť študentov.
Daumier a kol. (2004) [47] porovnávali hodnotenia študentov absolvovaného školenia inštruktorov v triede s hodnoteniami zozbieranými online porovnaním počtu odpovedí a hodnotení. Výskum ukazuje, že online prieskumy majú zvyčajne nižšiu mieru odpovedí ako prieskumy v triede. Štúdia však zistila, že online hodnotenia nepriniesli výrazne odlišné priemerné známky od tradičných hodnotení v triede.
Počas vypĺňania online (ale často tlačených) testov SET bola hlásená nedostatočná obojsmerná komunikácia medzi študentmi a učiteľmi, čo viedlo k nedostatku príležitostí na objasnenie. Význam otázok, komentárov alebo hodnotení študentov v teste SET preto nemusí byť vždy jasný [48]. Niektoré inštitúcie riešili tento problém tak, že študentov spojili na hodinu a vyhradili im konkrétny čas na online (anonymné) vyplnenie testu SET [49]. Malone a kol. (2018) [49] vo svojej štúdii usporiadali niekoľko stretnutí, na ktorých so študentmi prediskutovali účel testu SET, kto uvidí výsledky testu SET a ako sa budú používať, a akékoľvek ďalšie otázky, ktoré študenti nastolia. Test SET sa vykonáva podobne ako fokusová skupina: kolektívna skupina odpovedá na otvorené otázky prostredníctvom neformálneho hlasovania, diskusie a objasňovania. Miera odpovedí bola viac ako 70 – 80 %, čo poskytlo učiteľom, administrátorom a študijným komisiám rozsiahle informácie [49].
Ako už bolo spomenuté, v štúdii Uitdehaage a O'Neilla [5] výskumníci uviedli, že študenti v ich štúdii hodnotili neexistujúcich učiteľov. Ako už bolo spomenuté, ide o bežný problém v kurzoch na lekárskych fakultách, kde každý kurz môže vyučovať veľa členov fakulty, ale študenti si nemusia pamätať, kto na každom kurze prispel alebo čo ktorý člen fakulty robil. Niektoré inštitúcie riešia tento problém poskytnutím fotografie každého prednášajúceho, jeho mena a témy/dátumu prezentácie, aby si študenti osviežili pamäť a predišli problémom, ktoré ohrozujú účinnosť SET [49].
Asi najdôležitejším problémom spojeným so SET je, že učitelia nedokážu správne interpretovať kvantitatívne a kvalitatívne výsledky SET. Niektorí učitelia môžu chcieť vykonávať štatistické porovnania medzi rokmi, iní môžu považovať drobné zvýšenie/zníženie priemerného skóre za zmysluplné zmeny, niektorí chcú veriť každému prieskumu a iní sú voči akémukoľvek prieskumu vyslovene skeptickí [45, 50, 51].
Neschopnosť správne interpretovať výsledky alebo spracovať spätnú väzbu od študentov môže ovplyvniť postoje učiteľov k výučbe. Výsledky Lutovaca a kol. (2017) [52] Podporné školenie učiteľov je nevyhnutné a prospešné pre poskytovanie spätnej väzby študentom. Medicínske vzdelávanie naliehavo potrebuje školenie v správnej interpretácii výsledkov SET. Preto by pedagógovia lekárskych fakúlt mali absolvovať školenie o tom, ako hodnotiť výsledky a na aké dôležité oblasti by sa mali zamerať [50, 51].
Opísané výsledky teda naznačujú, že testy SET by mali byť starostlivo navrhnuté, spravované a interpretované tak, aby výsledky SET mali zmysluplný vplyv na všetky relevantné zainteresované strany vrátane fakulty, správcov lekárskych fakúlt a študentov.
Vzhľadom na niektoré obmedzenia systému SET by sme sa mali naďalej snažiť vytvoriť komplexný systém hodnotenia s cieľom znížiť skreslenie v efektívnosti výučby a podporiť profesionálny rozvoj zdravotníckych pedagógov.
Úplnejšie pochopenie kvality výučby klinických pedagógov možno získať zhromažďovaním a trianguláciou údajov z viacerých zdrojov vrátane študentov, kolegov, administrátorov programov a sebahodnotenia pedagógov [53, 54, 55, 56, 57]. Nasledujúce časti opisujú možné ďalšie nástroje/metódy, ktoré možno použiť okrem efektívneho SET na pomoc pri rozvoji vhodnejšieho a úplnejšieho pochopenia efektívnosti vzdelávania (obrázok 4).
Metódy, ktoré možno použiť na vývoj komplexného modelu systému hodnotenia efektívnosti výučby na lekárskej fakulte.
Fokusová skupina je definovaná ako „skupinová diskusia organizovaná s cieľom preskúmať špecifický súbor otázok“ [58]. V posledných rokoch lekárske fakulty vytvorili fokusové skupiny s cieľom získať kvalitnú spätnú väzbu od študentov a riešiť niektoré úskalia online SET. Tieto štúdie ukazujú, že fokusové skupiny sú účinné pri poskytovaní kvalitnej spätnej väzby a zvyšovaní spokojnosti študentov [59, 60, 61].
V štúdii Brundlea a kol. [59] výskumníci implementovali proces hodnotenia študentských skupín, ktorý umožnil vedúcim kurzov a študentom diskutovať o kurzoch v rámci fokusových skupín. Výsledky naznačujú, že diskusie v fokusových skupinách dopĺňajú online hodnotenia a zvyšujú spokojnosť študentov s celkovým procesom hodnotenia kurzov. Študenti si cenia možnosť komunikovať priamo s vedúcimi kurzov a veria, že tento proces môže prispieť k zlepšeniu vzdelávania. Mali tiež pocit, že dokázali pochopiť pohľad vedúceho kurzu. Okrem študentov aj vedúci kurzov hodnotili, že fokusové skupiny uľahčujú efektívnejšiu komunikáciu so študentmi [59]. Využitie fokusových skupín tak môže poskytnúť lekárskym fakultám úplnejšie pochopenie kvality každého kurzu a efektívnosti výučby príslušného fakultného zboru. Treba však poznamenať, že samotné fokusové skupiny majú určité obmedzenia, ako napríklad malý počet študentov, ktorí sa ich zúčastňujú v porovnaní s online programom SET, ktorý je dostupný všetkým študentom. Okrem toho môže byť vedenie fokusových skupín pre rôzne kurzy časovo náročným procesom pre poradcov a študentov. To predstavuje značné obmedzenia, najmä pre študentov medicíny, ktorí majú veľmi nabitý program a môžu absolvovať klinické stáže v rôznych geografických lokalitách. Okrem toho fokusové skupiny vyžadujú veľký počet skúsených facilitátorov. Začlenenie fokusových skupín do procesu hodnotenia však môže poskytnúť podrobnejšie a konkrétnejšie informácie o účinnosti školenia [48, 59, 60, 61].
Schiekierka-Schwacke a kol. (2018) [62] skúmali vnímanie nového nástroja na hodnotenie výkonu fakulty a študijných výsledkov študentov na dvoch nemeckých lekárskych fakultách študentmi a fakultou. S fakultou a študentmi medicíny sa uskutočnili skupinové diskusie a individuálne rozhovory. Učitelia ocenili osobnú spätnú väzbu, ktorú poskytol hodnotiaci nástroj, a študenti uviedli, že by sa mala vytvoriť spätná väzba vrátane cieľov a dôsledkov, ktorá by podporila hlásenie údajov z hodnotenia. Výsledky tejto štúdie teda podporujú dôležitosť uzavretia komunikačného cyklu so študentmi a informovania ich o výsledkoch hodnotenia.
Programy vzájomného hodnotenia výučby (PRT) sú veľmi dôležité a vo vysokoškolskom vzdelávaní sa zavádzajú už mnoho rokov. PRT zahŕňa proces spolupráce pri pozorovaní výučby a poskytovaní spätnej väzby pozorovateľovi s cieľom zlepšiť efektívnosť výučby [63]. Okrem toho, sebareflexia, štruktúrované následné diskusie a systematické prideľovanie vyškolených kolegov môžu pomôcť zlepšiť efektívnosť PRT a kultúru výučby na katedre [64]. Tieto programy údajne majú mnoho výhod, pretože môžu pomôcť učiteľom získať konštruktívnu spätnú väzbu od svojich kolegov, ktorí sa v minulosti mohli stretnúť s podobnými ťažkosťami, a môžu poskytnúť väčšiu podporu poskytnutím užitočných návrhov na zlepšenie [63]. Okrem toho, ak sa vzájomné hodnotenie používa konštruktívne, môže zlepšiť obsah kurzu a metódy výučby a podporiť zdravotníckych pedagógov pri zlepšovaní kvality ich výučby [65, 66].
Nedávna štúdia Campbella a kol. (2019) [67] poskytuje dôkazy o tom, že model vzájomnej podpory na pracovisku je prijateľnou a účinnou stratégiou rozvoja učiteľov klinických zdravotníckych pedagógov. V inej štúdii Caygill a kol. [68] vykonali štúdiu, v ktorej bol zdravotníckym pedagógom na Melbournskej univerzite zaslaný špeciálne navrhnutý dotazník, aby sa mohli podeliť o svoje skúsenosti s používaním PRT. Výsledky naznačujú, že medzi zdravotníckymi pedagógmi existuje o PRT veľký záujem a že dobrovoľný a informatívny formát vzájomného hodnotenia sa považuje za dôležitú a cennú príležitosť pre profesionálny rozvoj.
Stojí za zmienku, že programy PRT musia byť starostlivo navrhnuté, aby sa predišlo vytvoreniu kritického, „manažérskeho“ prostredia, ktoré často vedie k zvýšenej úzkosti medzi pozorovanými učiteľmi [69]. Cieľom by preto malo byť starostlivo vypracovať plány PRT, ktoré doplnia a uľahčia vytvorenie bezpečného prostredia a poskytnú konštruktívnu spätnú väzbu. Preto je potrebné špeciálne školenie na školenie hodnotiteľov a programy PRT by mali zahŕňať iba skutočne zainteresovaných a skúsených učiteľov. Toto je obzvlášť dôležité, ak sa informácie získané z PRT používajú pri rozhodnutiach fakulty, ako sú povýšenia na vyššie úrovne, zvýšenie platu a povýšenia na dôležité administratívne pozície. Treba poznamenať, že PRT je časovo náročné a podobne ako fokusové skupiny vyžaduje účasť veľkého počtu skúsených členov fakulty, čo sťažuje implementáciu tohto prístupu na lekárskych fakultách s nízkymi zdrojmi.
Newman a kol. (2019) [70] opisujú stratégie používané pred, počas a po školení, pozorovania, ktoré zdôrazňujú osvedčené postupy a identifikujú riešenia problémov s učením. Výskumníci poskytli recenzentom 12 návrhov vrátane: (1) múdro voliť slová; (2) umožniť pozorovateľovi určiť smer diskusie; (3) zachovať dôvernosť a formátovanie spätnej väzby; (4) zachovať dôvernosť a formátovanie spätnej väzby; Spätná väzba sa zameriava na pedagogické zručnosti, a nie na jednotlivého učiteľa; (5) spoznať svojich kolegov, (6) byť ohľaduplný k sebe a k ostatným, (7) pamätať, že zámená zohrávajú dôležitú úlohu pri poskytovaní spätnej väzby, (8) používať otázky na objasnenie perspektívy vyučovania, (10) budovať dôveru v procesy a spätnú väzbu pri vzájomných pozorovaniach, (11) urobiť z pozorovania učenia obojstranne výhodné, (12) vytvoriť akčný plán. Výskumníci tiež skúmajú vplyv zaujatosti na pozorovania a to, ako proces učenia sa, pozorovania a diskusie o spätnej väzbe môže poskytnúť cenné vzdelávacie skúsenosti pre obe strany, čo vedie k dlhodobým partnerstvám a zlepšeniu kvality vzdelávania. Gomaly a kol. (2014) [71] uviedli, že kvalita efektívnej spätnej väzby by mala zahŕňať (1) objasnenie úlohy poskytnutím pokynov, (2) zvýšenú motiváciu na povzbudenie k väčšiemu úsiliu a (3) vnímanie spätnej väzby príjemcom ako hodnotného procesu. poskytnutá renomovaným zdrojom.
Hoci učitelia lekárskych fakúlt dostávajú spätnú väzbu o PRT, je dôležité ich vyškoliť v tom, ako spätnú väzbu interpretovať (podobne ako sa odporúča absolvovať školenie v interpretácii SET) a poskytnúť im dostatok času na konštruktívne zamyslenie sa nad prijatou spätnou väzbou.
Čas uverejnenia: 24. novembra 2023