Dlaczego polskie uczelnie nie potrafiły skutecznie wprowadzić komponentu efektów uczenia się do tworzenia programów studiów? Jakie negatywne skutki może mieć niewłaściwe podejście do tego problemu? Na łamach FA pisze o tym dr Dorota Piotrowska, dyrektor Centrum Współpracy Międzynarodowej Politechniki Łódzkiej i inicjatorka innowacyjnych projektów w zakresie metod kształcenia, rozwijania modeli w walidacji nieformalnego i pozaformalnego uczenia się.
Wdrożenie w polskim szkolnictwie wyższym systemu opartego na efektach uczenia się ma już prawie 15-letnią historię. W trakcie tych wszystkich lat zorganizowano liczne dyskusje i działania prowadzące do tego, żeby system stał się przyjazny i klarowny zarówno dla jego użytkowników, jak i odbiorców. Podjęto wiele prób aktywizacji środowiska akademickiego i zachęcenia do przyjęcia nowej filozofii działania opartej na Krajowych Ramach Kwalifikacji. Odbyło się wiele seminariów bolońskich, przygotowano dziesiątki projektów, spotkań, publikacji i prezentacji ukazujących właściwą wartość i użyteczność nowego podejścia dla budowania ofert kształcenia odpowiadających na realne potrzeby otoczenia.
Pomimo tych działań i ogromnego bagażu doświadczeń zebranego przez uczelnie nadal w wielu miejscach i instytucjach efekty uczenia się są postrzegane wyłącznie jako autorytatywny system pomiaru uczenia się, narzucony przez biurokratyczny świat spoza sektora edukacji, utrudniający normalne funkcjonowanie dydaktyki akademickiej. Ta perspektywa przełożyła się w wielu przypadkach na stosunkowo niską jakość definiowanych efektów uczenia się i sposób ich komunikowania na zewnątrz, powodując brak zrozumienia tej idei również wśród interesariuszy zewnętrznych.
Czemu miało to służyć?
W Europejskim Obszarze Szkolnictwa Wyższego efekty uczenia się zostały po raz pierwszy wspomniane w Komunikacie Berlińskim z 2003 roku. Zauważono wówczas pilną potrzebę znalezienia bardziej efektywnych narzędzi do osiągnięcia porównywalnych kwalifikacji w różnych krajach europejskich i wspierania reform strukturalnych w kontekście Procesu Bolońskiego. Nadzieję na osiągnięcie tego celu dostrzeżono w idei efektów uczenia się. Bardzo ważnym aspektem, poruszanym przez ekspertów zajmujących się strategicznym rozwojem szkolnictwa wyższego, była możliwość powiązania efektów uczenia się z bardzo ważnym priorytetem i długoterminowym celem Procesu Bolońskiego dotyczącym budowania systemów zorientowanych na uczących się. Wyraźnie podkreślano wówczas, że dzięki przesunięciu punktu ciężkości z kształcenia opartego na treściach programowych, skoncentrowanego na nauczycielu, na uczenie się i kształcenie oparte na wynikach, skoncentrowane na studencie, oferta kształcenia jest lepiej dopasowana do rzeczywistych potrzeb osób, które korzystają z edukacji.
We wdrożeniu efektów uczenia się upatrywano również szansy na połączenie różnych komponentów Procesu Bolońskiego, takich jak uczenie się przez całe życie, uznawanie efektów uczenia się zdobywanych na drogach nieformalnych i pozaformalnych czy też połączenie systemu nadawania dyplomów z obowiązującym systemem kwalifikacji. W relacjach z otoczeniem zewnętrznym, w systemie opartym na efektach uczenia się, upatrywano szansy na zwiększenie transparentności systemu edukacji dla rynku pracy. Dzięki odejściu od treści programowych i przejściu na jasno zdefiniowane kompetencje absolwentów, upatrywano szansy na zbudowanie lepszej interakcji ze światem interesariuszy zewnętrznych i partnerów biznesowych, którzy dzięki nowemu sposobowi definiowania programów studiów, mieli lepiej rozumieć do jakich zadań zawodowych, funkcji i działań są przygotowani absolwenci kierunków oferowanych przez poszczególne uczelnie. Mówiąc krótko: miało być spójnie, klarownie i użytecznie dla wszystkich.
Spoiwo
Głównym założeniem systemu opartego na efektach uczenia się miało być zwiększenie transparentności, porównywalności i przejrzystości w systemach szkolnictwa wyższego w Europie. Z kolei założeniem Procesu Bolońskiego jest rozwijanie różnorodnych form, programów i instytucji kształcenia na poziomie wyższym oraz wspieranie możliwości porównywania osiągnięć i kwalifikacji osób uczących się. Narzędziem realizacji obu tych założeń miały być Europejskie i Krajowe Ramy Kwalifikacji. Do ich opracowania i wdrożenia w Polsce zobligował nas Komunikat z Bergen z 2005 (dla szkolnictwa wyższego) oraz Zalecenie Parlamentu Europejskiego z 2008 roku (dla całego systemu edukacji).
Nowelizacja ustawy Prawo o szkolnictwie wyższym z września 2010 r. doprowadziła do wprowadzenia KRK do systemu szkolnictwa w Polsce. Po jej wejściu w życie uczelnie uzyskały autonomię w tworzeniu kierunków i kształtowaniu programów studiów. To wymagało jednak samodzielnego przygotowania programów zgodnie z metodologią KRK, co okazało się nie lada wyzwaniem. Aby pomóc uczelniom wdrożyć kulturę efektów uczenia się, doświadczeni eksperci, zebrani w obszarowych zespołach, opracowali wzorcowe opisy efektów kształcenia, które następnie zostały opublikowane w formie rozporządzenia (Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 4 listopada 2011 r. w sprawie wzorcowych efektów kształcenia).
Ramy kwalifikacji oparte na efektach uczenia się przenoszą punkt ciężkości z (tradycyjnego) poziomowania opartego na kategoriach instytucjonalnych (i z góry przyjętych pojęciach hierarchii instytucjonalnych) na poziomowanie oparte na zamierzonej i oczekiwanej wiedzy, umiejętnościach i kompetencjach.
Warunkiem wprowadzenia KRK była zmiana sposobu projektowania programów studiów. Wymagano, aby koncentrowały się one nie tylko na opisie treści, ale przede wszystkim na osiąganych efektach kształcenia. Wdrażając je, umożliwiono uczelniom różnicowanie programów kierunków studiów, samodzielne ich nazywanie i ustalanie zakresu treści, które miały prowadzić do osiągnięcia określonych efektów. Jednocześnie oznaczało to większą odpowiedzialność uczelni za jakość i skuteczność oferowanych programów.
Wprowadzenie KRK miało również na celu zwiększenie jakości i różnorodności oferty edukacyjnej polskich uczelni. Programy studiów miały być lepiej dostosowane do oczekiwań, możliwości i predyspozycji uczących się, co ma szczególnie istotne znaczenie w warunkach masowego kształcenia i rosnącej liczby studentów „nietradycyjnych”. Naturalnym efektem tych zmian miało być zróżnicowanie kompetencji absolwentów oraz ich lepsze dopasowanie do potrzeb rynku pracy, co przekładało się na wyższe możliwości zatrudnienia.
Potrzeby, a nie oferta
W czasie wprowadzania w życie reform uczelnie szeroko komunikowały ulgę, że wreszcie mogły odejść od sztywno zdefiniowanych standardów kształcenia i zaoferować kształcenie, które byłoby bardziej zbliżone do ich specyfiki i rodzaju badań naukowych, na których chciały i powinny opierać edukację.
Niestety, w wielu przypadkach autonomia programowa okazała się dla uczelni również wyzwaniem, czego dowodem były programy studiów oparte na efektach kierunkowych, nierzadko skopiowanych w całości z wzorcowych opisów efektów kształcenia, opublikowanych w rozporządzeniu. Ku wielkiemu zdziwieniu środowiska, pomimo odejścia od powszechnie obowiązujących standardów kształcenia, zaproponowane przez różne polskie uczelnie programy kształcenia, wywodzące się z tego samego obszaru, nadal wyglądały podobnie, a w niektórych przypadkach nawet identycznie.
To był pierwszy moment, w którym stało się jasne, że uczelnie nie do końca zrozumiały idee Ram Kwalifikacji i efektów uczenia się. Przede wszystkim wiele z nich nie zauważyło, że Ramy Kwalifikacji nie zawierają jako takich sformułowań efektów uczenia się, znajdują się w nich tylko deskryptory poziomów, czyli opisy poszczególnych poziomów, które nie są efektami uczenia się. Deskryptory te są zwykle pisane na wysokim poziomie ogólności, co pozwala im na interakcję z szeroką różnorodnością kwalifikacji i typów kwalifikacji tworzących część sektorowych, krajowych i/lub międzynarodowych systemów kwalifikacji.
Sformułowania z Polskiej Ramy Kwalifikacji i rozporządzenia ministra nauki z 14 listopada 2018 r. dotyczące efektów uczenia się dla kwalifikacji na poziomach 6-8 PRK nie powinny być kopiowane jako standardy do programów studiów. Zawarte w powyższych dokumentach charakterystyki mają bardzo ogólny opisowy format. Mimo upływu czasu błąd dosłownego przepisywania charakterystyk na efekty programowe, nadal występuje na wielu uczelniach, głównie z powodu niezrozumienia współistnienia dwóch ustaw: Prawa o szkolnictwie wyższym i nauce (PSWiN) oraz ustawy o Zintegrowanym Systemie Kwalifikacji z 2015 r. PSWiN w art. 67 ust 1. wskazuje, że program studiów określa efekty uczenia się zgodnie z ustawą o ZSK, uwzględniając uniwersalne i szczegółowe charakterystyki poziomów ramy kwalifikacji. Powyższe zapisy wskazują, że programowe efekty uczenia się, stanowiące standard danej kwalifikacji, muszą odpowiadać poziomowi PRK, np. licencjackiemu, magisterskiemu lub inżynierskiemu. Zgodnie z art. 2 ust. 18 ustawy o ZSK przypisanie poziomu PRK do kwalifikacji polega na porównaniu jej efektów z charakterystykami poziomów PRK. Dlatego projektując program studiów, należy zdefiniować listę programowych efektów uczenia się, które odzwierciedlają specyfikę i unikatowość danej kwalifikacji, a następnie porównać je z PRK (a nie kopiować, czy dosłownie przepisywać).
Uczelnie mogą również definiować programowe efekty uczenia się w sposób zagregowany, bez konieczności dzielenia ich na kategorie wiedzy, umiejętności czy kompetencji społecznych. Kluczowe jest, aby następnie umiały porównać te efekty z odpowiednimi kategoriami charakterystyk w Polskiej Ramie Kwalifikacji. Dopóki uczelnie będą kopiować efekty z PRK, wiele programów będzie sprawiać wrażenie identycznych. W efekcie idea unikatowości oferty oraz autonomia programowa uczelni zostaną całkowicie zatracone.
Brakujące ogniwo
Dla wielu polskich uczelni udział w europejskich programach ewaluacyjnych – np. EUA’s Institutional Evaluation Programme (IEP), Quality Assurance Agency for Higher Education (QAA, UK) – a także w międzynarodowych akredytacjach programowych, pozwolił wypracować nowe rozumienie efektów uczenia się, standardu kwalifikacji i tworzenia jakościowych ram dla realizowanych programów studiów. Wiele uczelni zrozumiało, że aby skutecznie zarządzać jakością i doskonalić ofertę związaną z danym programem studiów, jego podstawowy opis zawierający programowe efekty uczenia się nie może składać się z listy czterdziestu efektów. Z oczywistych powodów skuteczna ocena jakości przy tak zdefiniowanych standardach kwalifikacji była wręcz niemożliwa. Te doświadczenia wywołały nową dyskusję na temat efektywności stosowanych w Polsce wewnętrznych systemów zapewniania jakości kształcenia.
Dzięki doświadczeniom międzynarodowym zaczęto dostrzegać bardzo silną potrzebę zbudowania i udowodnienia spójności relacji pomiędzy efektami uczenia się a pozostałymi komponentami modelu edukacyjnego. Dotyczyło to przede wszystkim zapewnienia odpowiedniej weryfikacji efektów uczenia się dowodzącej kompetencji absolwentów. Kolejnym wyzwaniem było włączenie do tej pętli procesu dydaktycznego i związanych z nim aktywności edukacyjnych. Okazało się, że efekty uczenia się stały się wiodącym czynnikiem w budowaniu systemów ewaluacji i ciągłego doskonalenia.
Podsumowanie
Efekty uczenia się mają kluczowe znaczenie dla bardzo wielu aspektów funkcjonowania uczelni jako niekwestionowanego centrum rozwoju kompetencyjnego społeczeństwa. W wymiarze wewnętrznym prawidłowe definiowanie efektów kształcenia nie tylko dotyczy tworzenia programów studiów, dopasowywania metod weryfikacji i ścieżek edukacyjnych, lecz także projektowania danego komponentu edukacyjnego w taki sposób, aby spójnie i jakościowo funkcjonował w danym systemie kwalifikacji. Efekty uczenia się będą miały również kluczowe znaczenie dla efektywnego przedstawienia przez uczelnie oferty dla nieregularnych studentów tzw. LL Learnerów.
Pojawienie się nowych możliwości, związanych m.in. z mikropoświadczeniami, dynamiczne poszerzanie oferty edukacyjnej dostępnej poza formalnym systemem oświaty, niejako zmuszają uczelnie do poszukiwania lepszego dopasowania oferty kształcenia do innych elementów systemu rozwoju kompetencji i nadawania kwalifikacji w Polsce. Prawidłowe definiowanie efektów uczenia się to nie tylko kluczowy element projektowania spójnych i wartościowych ofert edukacyjnych, lecz także narzędzie umożliwiające lepsze zrozumienie i komunikację z otoczeniem zewnętrznym. Podejmując ten trud, polskie uczelnie przede wszystkim zdecydowanie wzmocnią swoją wiarygodność, co w dynamicznie zmieniającym się systemie edukacyjnym, może mieć strategiczne znaczenie.
Dorota Piotrowska
Gdzie ta elastyczność jak sylabusa nie można zmienić, efekty kształcenia muszą być brane z efektów kierunku i beznamiętnie kopiowane. Gdy stworzyłem sensowny sylabus kazano mi go wyrzucić do kosza i dostosować się do schematu, to jak w końcu tez wzorzec ma wyglądać? A tak nawiasem jak ktoś znajdzie 10 studentów na roku którzy przeczytali efekty kształcenia powinien z miejsca dostać nagrodę Rektora, sztuka dla sztuki, ale pewnie niektorzy na tym i habilitacje porobili :)
Niestety nic nie zrozumiałem.
Efekty kształcenia (czy uczenia - któż nadąża za tymi zmianami) mają taki sam sens jak ewaluacja. Czyli naukowo czy dydaktycznie żadnego, ale liczy się rozszerzanie kontroli nad uczelniami. Istotą nauki i dydaktyki jest jej poszerzanie a nie dostosowywanie się do jakiś ram :)
Następnym elementem nikomu niepotrzebnym będą mikropoświadczenia ..... czyli kolejny dokument potwierdzający coś co już było potwierdzane :)
Najgorsze jest to, że dziś nie dyskutuje już o tym czy to potrzebne, tylko jak się w tym odnaleźć. Przypomina to słynne powiedzenie S. Kisielewskiego, "nie jest problemem, że jesteśmy w d...., tylko, że tam się urządzamy".
Ewaluacja oraz efekty uczenia się czy sylabusy mają dydaktycznie olbrzymi sens, czego naukowe podstawy istnieją od kilkudziesięciu lat. Kształcenie studentów jest zobowiązaniem wobec nich, wobec uczelni, wobec przyszłych pracodawców i ogólnie wobec społeczeństwa. Ale kształcić studentów nie musi i nie powinna kadra leniwa i pewna swoich kompetencji i słuszności przekonań. Akademickość wymaga czasem zwątpienia w prawdy własne wolne od jakichkolwiek podstaw naukowych.
Tak, jesteśmy w d... z kadrą akademicką, która urządziła się tam od lat i nie zamierza nawet spróbować wyjść...
Znakomite podsumowanie, w pełni popieram :)
Można zamknąć forum, już nic mądrzejszego nie da się napisać. :) Pozdrawiam autora wypowiedzi.
Ciekawy tekst, choć chyba trzeba wiedzieć nieco o czym on jest. Tezę o niezrozumieniu przez środowisko założeń reform i/lub nieskuteczność większość dotychczasowych komentarzy pod nim zdaje się potwierdzać. W związku z tym ciekaw jestem jak autorka ocenia przyjęty sposób wdrażania efektów uczenia się i ram kwalifikacji. Jak widać (z komentarzy) narzucenie obowiązku przepisem nie przyczyniło się do promocji opisywanej idei jednoznacznie pozytywnie. Czy można było inaczej, czy gdzieś się udało? Chętnie przeczytałbym o tych sprawach więcej.
Proszę nie nazywać zwiększania biurokracji reformą.
To nie jest biurokracja. To pierwsze próby nakłonienia "naukowców" w polskich uczelniach do tego, że nauczanie jest kompetencją, której za grosz nie posiedli. Że bycia nauczycielem akademickim wymaga posiadania kompetencji dydaktycznych, którymi większość nauczycieli akademickich nie zainteresuje przez całą karierę, będąc przekonanymi, że świetnie potrafią nauczać, bo sobie sprawę przemyśleli. Bez sięgania do wiedzy dydaktycznej nauczać to tak jak leczyć ludzi nie mając pojęcia o medycynie - znachorstwo.
Absolutny bełkot , pełen komunałów , pseudonaukowy język….
Istotą kształcenia akademickiego jest po pierwsze to, że nauczający sam czynnie rozwija nauczany przez siebie przedmiot, że prowadzi badania z tego zakresu wiedzy, której naucza. Tego warunku nie spełniają adiunkci czy tym bardziej profesorowie na etatach dydaktycznych., nie prowadzący badań naukowych, nie publikujący prac naukowych , nie uczestniczący w życiu naukowym. Po drugie, studiowanie ma nauczyć krytycznego myślenia, umiejętności samodzielnego rozwiązywania problemów ,w zakresie studiowanej dyscypliny, odróżniania nauki od nie-nauki .Ma nauczyć szacunku dla prawdy i wskazywać drogi do dochodzenia do prawdy. Studia wyższe to nie nauka zawodu. Zawodu uczą różne praktyki, aplikacje, kursy etc. które powinny być uzupełnieniem studiów.
Poza tym, nauczyciel akademicki powinien swoim postępowaniem, podejściem do nauki , rzetelnością naukową, szacunkiem dla prawdy dawać przykład tym, których uczy.
Absolutny bełkot i komunały. Ja, naukowiec, jestem alfą i omegą wszechrzeczy. Znam się na wszystkim i nikt mi nie będzie niczego dyktował. Może trochę więcej samokrytycyzmu, Janie-Boże?
Zgadzam się ze wszystkimi krytycznymi komentarzami dotyczącymi tak tekstu, jak i KRK.. Z własnego doświadczenia powiem, że KRK na mojej uczelni istnieje jako byt równoległy, nie mający styczności z realną dydaktyką. Absolutny przerost formy nad treścią. A już najmniej mający cokolwiek wspólnego z jakością kształcenia.
No niestety...ten tekst to bełkot naukawy , ktory zrozumialy jest pewnie glownie dla autorki. Dla mnie uzycie tylu "naukowych" słów bez wyjasnienia mormalnym jezykiem o co chodzi powoduje, ze z trudem doczytuje do konca i dalej niewiele wiem. Na moje usprawiedliwienie moge powiedziec ze jestem tylko zwykłą nauczycielką w LO...
Bo oceny to niby wszystko albo nic. Patrzac na studentow, ktorzy kuja aby pozniej nie uzywac aby sie nie rozwijac ale moga miec piatki. System pruski malo przydatny jak widac juz od szkoly podstawowej. Przylozenie kalki jest metoda 0, 1, tracimy zdolny h mindful growth.
Ciekawy wpis komentującego znalazłem po jadnym artykułem Głosu Nauczycielskiego.
Otóż w latach 80-tych pracował w Nowej Zelandii, w firmie doradczo - konsultingowej. Dostali od CIA do zaopiniowania dla MFW projekt reformy systemu oświaty w Polsce .
Jako,, że jest Polakiem się nim zainteresował i szczegółowo go przeanalizował .
Wg niego był to SABOTAŻ, którego celem było rozwalenie go.. Został on przygotowany i wdrożony reformą pani minister Hall.
Efekty tego widzimy na codzień.
Liczy się ilość a nie jakość i teoria zamiast praktyki..
Kolega, dr inż. specjalizujący się w opracowywaniu projektów na konkretne potrzeby klientów starał się o pracę na miejscowym Uniwersytecie na rozmowach rekrutacyjnych pytających nie interesowały jego projekty lecz ilość publikacji.
Efekty uczenia, efekty kształcenia itp to konstrukcje wymyślone chyba dla biurokratów. Pracując na stanowisku dydaktyczno-naukowym coraz częściej zamiast zajmować się właściwą pracą (dydaktyką i nauką) co chwilę wypełnianiem tabelki na potrzeby biurokracji. Inna sprawa to potrzeby studenta. Idąc na studia młody człowiek obecnie oczekuje praktyki. Niestety tego nie może otrzymać gdyż uczelnie często tego nie mogą zaoferować z powodu braku np. aparatury (np. w uczelniach technicznych) lub braku fachowców na uczelni. Nie raz mi się zdarzyło że 30 września dowiadywałem się że jestem specjalistą w dziedzinie wcześniej mi nieznanej, a pensum musi być zrobione. Podsumowując choroba polskich uczelni to brak dofinansowania do systemu kształcenia, sama patologia w jego zarządzaniu (są równi i równiejsi), presja punktowy, która oddała nas od dydaktyki, brak doktorantów i osób technicznych czego efektem jest to że samodzielni zajmuja się praktycznie wszystkim np. utrzymaniem sprzętu, naprawą, sprzątaniem. A potem się dziwią dlaczego ludzie w wieku 40-50 lat odchodzą z uczelni....
Szanowna pani,
pani tekst jest niestety kolejnym smutnym przykładem jak można tracić czas totalnie na próżno. Studentów nauczam już prawie 25 lat, lubię to, każdego roku naprawdę dokladam starań, żeby było lepiej, na czasie, zgodnie z bieżącymi badaniami itd. EK i tego typu BEŁKOT jest pomysłem dokładnie tej samej rangi co parametryzacja marchewki itd. Robienie matryc połączeń EK, opisywanie "co student umie na ocenę..." jest niczym innym jak głupim systemem opresyjnym, narzuconym siłowo. Używanie konkretnego zestawu "czasowników", bo inaczej będzie źle... ktoś ma naprawdę jakieś deficyty, jeśli się tym zajmuje.
Odpowiem tylko na jedno pytanie z tych wszystkich, całkowicie idiotycznych, tabelek. Student na ocenę 3 ma umieć dokładnie to samo co student na ocenę 5. Tylko później!
Tak, podobna sytuacja jak z ewaluacją (tylko jeszcze bardziej bezsensowna): ludzie ludziom zgotowali ten los.
KRK to nic innego, jak tylko pusty biurokratyczny bełkot. Głupoty nie da się zrozumieć, więc wszyscy kopiują raz podane schematy i nie ma się czemu dziwić. Szkoły wyższe w warstwie dydaktycznej coraz bardziej upodabniają się do liceów. W warstwie naukowej spętanej punktozą, grantozą i strachem przed kategoryzacją, mamy patologiczne korpo. O prawdziwej nauce i relacjach mistrz-uczeń powoli wszyscy zapominają.
Na poziomie studiów inżynierskich studenci oczekują prostych recept, algorytmów, procedur pozwalających rozwiązywać typowe zagadnienia. Istota zjawisk modelowanych przez te opisy interesuje może 5 procent studentów. Chcą wiedzy (jeżeli w ogóle poza papierem coś ich interesuje), którą mogą łatwo i dobrze sprzedać. Ja się dostosowałem.
Te KRK i inne to kpina i bzdura. Dużo słów bez treści. Strata czasu na wypełnienie pustych tabelek. Ten czas można by poświęcić na polepszenie zajęć, na konkret.
Nie dało się sensownie wdrożyć bo opisy tego wszystkiego były podobne do tego tekstu. Dużo zdań i określeń, a w sumie żadnej tresci lub wskazówek, które cokolwiek komikolwiek by pomogły we wdrażaniu efektów.
Mistyfikacja i idealizacja biurokratycznego koszmaru. KRK i późniejsze warianty to tylko jego fragment. Kolejne to potworne zesztywnienie treściowe i proceduralne, uchwalanie programów, sylabusów i siatek na pięć...sześć lat do przodu bez możliwości modyfikacji. Absurd doprowadzony do granic nonsensu przez Gowina.
Uczelnia wyższa to nie liceum. Wskazane narzędzia z pewnością działają na niższych poziomach. Natomiast w akademii chodzi o relacje uczeń-mistrz a tego nie da się skwantyfikować w ramach efektów uczenia czy stosując podobne narzędzia. Chyba myli się prawdziwe studiowanie z masową edukacją, która z nazwy tylko określana jest jako wyższa.