Treningi poznawcze i gry

MÓZGOWE PODŁOŻE UMIEJĘTNOŚCI MATEMATYCZNYCH

Czy określony poziom umiejętności matematycznych zależy od uwarunkowań biologicznych, edukacji, doświadczenia, treningu czy raczej od wzajemnej interakcji tych czynników? Jakie jest mózgowe podłoże umiejętności matematycznych i związanych z nimi deficytów (dyskalkulia). Zainteresowania naukowe naszego zespołu koncentrują się wokół szeroko pojętego zagadnienia Mathematical Cognition i poszukiwania odpowiedzi, między innymi, na powyższe pytania. Korzystając z osiągnięć badaczy LNK zajmujących się projektowaniem i testowaniem gier, badamy jak trening poznawczy przy użyciu gry matematycznej kształtuje mentalną reprezentację liczb (tzw. Mentalną Oś Liczbową) oraz sprawność w operowaniu liczbami wyrażonymi w postaci różnych formatów (liczebniki, cyfry arabskie, reprezentacje niesymboliczne, wzorce przestrzenne).

Naszym celem jest więc – we współpracy z innymi zespołami LNK – opracowanie programów treningowych będących metodami pokonywania deficytów poznawczych w dyskalkulii, które można będzie wykorzystać w edukacji. Przy użyciu współczesnych metod neuroobrazowania i pomiaru wskaźników psychofizycznych wnioskujemy o neuronalnych korelatach procesów składających się na umiejętności matematyczne oraz powszechnie znane zależności między liczbami i przestrzenią (tzw. efekt SNARC czy efekt dystansu numerycznego) oraz zależności między reprezentacją liczb i uwagą oraz pamięcią krótkotrwałą. Naszą misją jest też tworzenie komputerowych narzędzi diagnostycznych, które pozwolą na możliwie wczesne stwierdzenie problemów z rozwojem umiejętności matematycznych, co z kolei umożliwi wczesną interwencję w postaci treningów poznawczych u dzieci zagrożonych dyskalkulią.

Zespół: Małgorzata Gut (koordynator), Jacek Matulewski, Karolina Finc, Łukasz Goraczewski

Studenci: Katarzyna Babiuch, Magdalena Kmiecik, Katarzyna Mańkowska, Aleksandra Mielewczyk, Karolina Poczopko, Dominika Sebastian, Eryk Sobiechowski, Natalia Witkowska

PREDYKTORY EFEKTYWNOŚCI TRENINGÓW

W realizowanych badaniach przyjmujemy, że kluczową dla transferu usprawnienia funkcjonowania poznawczego jest złożoność dynamiki zmian czasowego przetwarzania informacji kształtującego ramy przebiegu między innymi takich procesów jak uwaga, mowa lub koordynacja sensomotoryczna.

W celu określenia warunków skuteczności projektowanych interwencji, interesujemy się znaczeniem takich wymiarów różnic indywidualnych jak zmienność wykonania, inteligencja, osobowość i temperament. Nie mniej istotne są dla nas okoliczności wykonywania pomiaru. Naszym celem jest powiązanie obserwowanej zmienności zachowania ze złożonością spontanicznego działania sieci neuronalnej (ang. resting state).

Szczególną wagę przywiązujemy do tworzenia nowych technik pomiarowych/diagnostycznych, pozwalających na badanie funkcjonowania poznawczego w warunkach naturalnych, oraz stosowania zaawansowanych metod analizy rejestrowanych sygnałów (EEG, fMRI).

Zespół:

Włodzisław Duch (koordynator), Joanna Dreszer (osoba do kontaktu), Monika Lewandowska, Bibianna Bałaj, Tomasz Piotrowski, Aneta Brzezicka, Tomasz Komendziński, Karolina Finc, Marek Grochowski, Jan Nikadon, Mateusz Wilk, Michał Komorowski, Jacek Matulewski, Ewa Ratajczak, Krzysztof Wasielewski, Katarzyna Śliwińska, Jakub Wojciechowski, Jan Szczypiński, Marek Waligóra, Joanna Dołżycka, Joanna Gorgol, Maria Sadowska, Janusz Guzowski, Natalia Pawlaczyk, Magdalena Szmytke, Agnieszka Ignaczewska, Michał Meina

PROJEKTOWANIE I TESTOWANIE GIER TERAPEUTYCZNYCH

W Pracowni Gier Terapeutycznych i Badania Procesów Poznawczych (GameLab) tworzymy narzędzia służące do diagnozy i wsparcia terapii. Obecnie skupiamy się na terapii dzieci z trudnościami w uczeniu się matematyki. Stworzyliśmy dwie aplikacje komputerowe: test TPRD i grę terapeutyczną-trening poznawczy Kalkulilo.

Test Przesiewowy Ryzyka Dyskalkuli (TPRD) pozwala na wczesną diagnozę ryzyka problemów w nabywaniu wiedzy matematycznej u dzieci, które rozpoczynają edukację szkolną. Zadania w teście podzielone są na dwie grupy. Pierwsza mierzy szybkość i trafność w przetwarzaniu wartości liczbowych prezentowanych za pomocą różnych formatów (obiekty lub symbole) – są to w istocie różne wersje zadań polegających na porównywaniu nierównolicznych zbiorów. Druga mierzy mierzy poprawność lokalizowania wartości liczbowych w przestrzeni (wzdłuż osi liczbowej).

Druga aplikacja to trening poznawczy Kalkulilo, który ma postać gry komputerowej. Przeznaczona jest dla dzieci nabywających kompetencje arytmetyczne, szczególnie dla tych, u których ujawniają się specyficzne problemy w nabywaniu matematyki (dyskalkulia). W Kalkulilo gracz wciela się w pilota statku kosmicznego, który przemierza górzyste krainy. Jego zadaniem jest przelatywanie przez tunele znajdujące się w przesuwających się po ekranie górach. Sterowanie odbywa się za pomocą suwaka przypominającego oś liczbową. Celem gry jest wzmocnienie mentalnej relacji liczbowo-przestrzennej, będącej podstawą poczucia liczby (ang. number sense), czyli niewerbalnej reprezentacji wartości liczbowych, porówywania tych wartości oraz właściwej manipulacji nimi za pomocą mentalnej osi liczbowej (ang. mental number line) (Deheane, 1999; von Aster, 2007).

Tworząc aplikacje i gry korzystamy z zaawansowanego silnika do tworzenia gier trójwymiarowych Unity3D i możliwości modelowania oferowanych przez program Blender. Dodatkowo wykorzystujemy mniej typowe kontrolery gier, takie jak Kinect, okulograf (ang. eyetracker) oraz gogle do wirtualnej rzeczywistości. Z jednej strony pozwala to powiększyć zestaw zbieranych danych, a z drugiej podnosi atrakcyjność naszych aplikacji, a tym samym zwiększa ich skuteczność poprzez wzmożone zaangażowanie użytkownika.

Zespół GameLab składa się z kognitywistów, psychologów, fizyków i informatyków. W jego prace zaangażowani są także studenci zarówno z Wydziału Fizyki, Astronomii i Informatyki Stosowanej, jak i z Wydziału Humanistycznego. Posiadamy zatem kompetencje, które pozwalają nam podejmować śmiałe wyzwania z zakresu nauk kognitywistycznych, także te, które wymagają przygotowania zaawansowanych programów komputerowych.

Zespół: Jacek Matulewski (koordynator), Łukasz Goraczewski

Studenci: Ewelina Bendlin, Piotr Cholewa, Kuba Majewski, Alicja Majka

Konsultacje i współpraca: Bibianna Bałaj, Joanna Dreszer, Małgorzata Gut

ZABAWKI KOGNITYWNE

Rozwiązanie jest objęte zgłoszeniem patentowym do UP RP nr P.411648.

System wspomagania rozwoju percepcyjno-poznawczego niemowląt i małych dzieci jest pierwszym systemem o tak wszechstronnym zastosowaniu i budowie. Jego zadaniem jest monitorowanie rozwoju zdolności percepcyjnych i poznawczych, wczesna diagnostyka i zapobieganie nieprawidłowościom rozwoju tych zdolności, oraz zapewnienie optymalnego ich rozwoju, stanowiącego podstawę do dalszych etapów uczenia się na etapie przedszkolnym, Wynalazek można stosować zarówno w przypadku diagnostyki i doskonalenia rozróżnienia różnych dźwięków, w szczególności dźwięków mowy i tonów muzycznych, percepcji wizualnej, rozpoznawania kształtów lub kolorów, innych podstawowych procesów sensorycznych, jak również pamięci roboczej.

Istotę rozwiązania stanowi wykorzystanie do interakcji systemu złożonego z inteligentnych urządzeń monitorujących i wspomagających rozwój zdolności percepcyjno-kognitywnych u dzieci w różnym wieku, w szczególności u niemowląt, u których nie jest możliwa świadoma, kontrolowana reakcja na prezentowany bodziec.

Proponowane rozwiązanie należy do nowej klasy urządzeń objętych patentem nazywanych umownie urządzeniami percepcyjno-kognitywnymi (UPK). Urządzenia takie mogą mieć postać:

• zintegrowaną,
• modułową,
• być realizowane za pomocą oprogramowania na komputerze lub urządzeniu przenośnym (laptopie, tablecie, smartfonie i innych) połączonym z czujnikami, efektorami, bazami danych i generatorami wzorców oraz jednostką sterującą, stanowiącymi funkcjonalną całość jako konfiguracja opisywanego systemu.

Główna idea jest następująca: Jednostka sterująca analizuje dane z czujników, wybiera efektory i dostarcza nowych bodźców za pomocą generatora wzorców lub bodźców pobieranych z bazy danych, dostarczając odpowiednich stymulacji, które mogą zostać rozpoznane przez mózg dziecka. Jeśli tak się stanie wywoła to spontaniczną reakcję, która zostanie zarejestrowana przez odpowiednie czujniki sensoryczne. W przypadku reakcji świadczących o zarejestrowaniu bodźca lub zauważeniu jego zmiany, np. rozróżnienia dwóch dźwięków mowy (fonemów), które nie są obecne w języku ojczystym, uruchamiany jest generator nagród. Prowadzi to do ukierunkowywania i wzmacniania pożądanych procesów rozwojowych zachodzących w układzie nerwowym dzieci podczas naturalnego procesu uczenia się. Dzięki temu krytyczne okresy rozwoju w pierwszym roku życia nie spowodują utraty zdolności percepcyjnych dla bodźców, które nie występują w danym środowisku, np. dźwięków mowy o odmiennej od natywnej strukturze fonologicznej. Zapamiętanie sekwencji różnych bodźców koniecznych do porównania zmian wymaga rozwoju połączeń pomiędzy różnymi obszarami w mózgu, tworząc sprzyjające warunki do rozwoju pamięci roboczej.

Z technicznego punktu widzenia opisywany system składa się ze sprzętu (hardware) i oprogramowania (software), a w szczególności z:

• jednostki sterującej,
• pamięci,
• baz danych i generatorów wzorców/nagród,
• monitorów dziecięcych o rozszerzonych możliwościach, w szczególności monitorów z czujnikami, w tym czujnikami ruchu (zarówno wbudowanymi w otoczenie dziecka, jak i stanowiącymi element środowisk – kołysek, kojców, mat – jak również noszonymi na ciele dziecka, z grupy tzw. wereable devices),
• zabawek angażujących niemowlęta w interakcje, których analiza pozwala oceniać na ile prawidłowo rozwijają się zdolności percepcyjno-poznawcze,
• zabawek zachęcających dzieci do lepszej dyskryminacji bodźców, używania pamięci roboczej i rozwiązywania problemów percepcyjno-poznawczych,
• środowisk, w formie: inteligentnych kołysek, kojców, mat do zabawy, wykorzystujących zaawansowane technologie i automatyczną analizę informacji z czujników w celu monitorowania i sterowania procesami rozwojowymi.

Ww. elementy, za wyjątkiem jednostki sterującej, są elementami opcjonalnymi, a konfiguracje czujników i efektorów mogą być zróżnicowane w zależności od potrzeb. W literaturze fachowej nieznane są rozwiązania systemów wspomagania rozwoju percepcyjno-poznawczego niemowląt i małych dzieci o podobnie wszechstronnym zastosowaniu oraz budowie.

Dodatkową przewagą techniczną opisywanego systemu nad rozwiązaniami wykorzystywanymi obecnie jest to, że jest systemem nieinwazyjnym, umożliwia interakcję i rozwijanie umiejętności dziecka w warunkach dla niego przyjaznych (w formie atrakcyjnej zabawy) oraz umożliwia przeprowadzenie doskonalenia poszczególnych, wybranych lub wszystkich umiejętności, a w szczególności może:

• działać profilaktycznie, zapobiegając problemom z zaburzeniami mowy, dysleksją,
• poprawić słuch fonematyczny,
• poprawić słuch muzyczny,
• polepszyć percepcję wzrokową, wrażliwość na barwy,
• polepszyć pamięć roboczą,
• rozwijać ciekawość, motywację do działania, chęć eksploracji świata.

Opisywany system umożliwi zarówno diagnostykę jak i kompleksowe doskonalenie, obejmujące wszystkie lub kilka wybranych zdolności percepcyjno-poznawczych niemowląt i małych dzieci. Zaletą opisywanego systemu jest również możliwość wykorzystania go u dzieci w różnym wieku, w warunkach szpitalnych, ambulatoryjnych oraz w domu.

Opisywane rozwiązanie jest efektem badań naukowych i jest oparte na najnowszej wiedzy oraz jej zastosowaniach w dziedzinie nauk poznawczych, psychologii rozwojowej, badań nad układem nerwowym oraz inteligencji obliczeniowej (computational intelligence), informatyki, metrologii i systemów sterowania. Badania są prowadzone w Laboratorium Neurokognitywnym Interdyscyplinarnego Centrum Nowoczesnych Technologii uniwersytetu Mikołaja Kopernika w Toruniu. Interdyscyplinarny zespół naukowców pod kierunkiem profesora Włodzisława Ducha składa się zarówno ze specjalistów nauk humanistycznych i społecznych (psychologów, kognitywistów), medycznych, nauk ścisłych i technicznych (informatyków, biocybernetyków i automatyków). Pozwala to nie tylko na wszechstronne zbadanie efektywności proponowanego rozwiązania, ale również zapewnienie najlepszych dostępnych obecnie rozwiązań wywodzących się z każdej z ww. dziedzin.

We wrześniu 2015r. ruszyła firma spin-off PERKOG TECHNOLOGIES z/s w Toruniu zajmująca się opracowaniem wersji komercyjnych systemu oraz wprowadzeniem go do sprzedaży. Uruchomienie firmy spin-off z udziałem producenta o ustalonej renomie na rynku pozwoli na skorzystanie z jego wcześniejszych doświadczeń, potencjału marketingowego oraz sieci sprzedaży i kooperantów. Umożliwi to maksymalizację szansy osiągnięcia ryzyka oraz minimalizację zagrożeń w tym obszarze.

Zespół:

Włodzisław Duch, Bibianna Bałaj, Joanna Dreszer, Oleksandr Sokołow, Tomasz Komendziński, Jacek Matulewski, Dariusz Mikołajewski, Michał Meina, Tomasz Piotrowski

BIOFEEDBACK I HRV

Celem projektu “BrainHeart” jest zbadanie wpływu treningu zmienności rytmu serca z zastosowaniem techniki biofeedbacku na funkcjonowanie poznawcze: procesy uwagowe oraz myślenie twórcze. Od pewnego już czasu medycyna przeżywa swoisty renesans alternatywnych, naturalnych czy też tradycyjnych metod leczenia. Jednakże bezpieczne, skuteczne i naukowe zastosowanie tychże terapii wymaga uprzedniego zbadania mechanizmu działania, stojącego za dobroczynnym wpływem zastosowanej interwencji. Ostatnimi czasy rosnącą popularność zdobywa trening zmienności rytmu serca (ang. heart rate variability; HRV). Trening taki jest możliwy dzięki użyciu informacji zwrotnej biofeedback (BFB), czyli sygnału zbieranego z organizmu, rejestrowanego przez specjalne urządzenie i prezentowanego osobie poddanie treningowi. W przypadku biofeedbacku HRV (HRV-BFB) informację zwrotną stanowi rytm bicia serca. Dzięki biofeedbackowi można uzyskać wiedzę na temat stanu wewnętrznych procesów, a w efekcie poddać je świadomej kontroli. Funkcjonowanie układów naczyniowo-sercowego oraz oddechowego jest wysoce sprzężone i skorelowane w celu zapewnienia jak najbardziej wydajnej wymiany gazowej pomiędzy powietrzem w płucach a krwią. Z tego względu jedną z najlepszych metod wpływania na rytm serca jest kontrola oddechu. Każdy człowiek posiada własną, indywidualną częstotliwość oddychania, podczas której jego organizm osiąga największą zmienność rytmu serca. Stan ten sprzyja utrzymaniu równowagi funkcjonowania organizmu, a także zwiększa jego umiejętności adaptacyjne do rozmaitych sytuacji.

Trening HRV-BFB ma doprowadzić do uzyskania takiego właśnie stanu, przez osiągnięci maksymalnej zmienności rytmu serca. Przeprowadzono wiele badań potwierdzających dobroczynny wpływ biofeedbacku HRV jako metody terapeutycznej w przypadku szeregu różnych chorób i zaburzeń, zarówno fizycznych, jak i psychicznych. Wykazano również pozytywny wpływ na funkcjonowanie organizmu ludzkiego w warunkach stresowych, podczas wykonywania zadań poznawczych, wymagających koncentracji czy też umiejętności twórczych. Jednak pomimo wielu dowodów na pozytywne działanie, mechanizm leżący u jego podstaw pozostaje nadal niejasny. Wiele wskazuje na zmiany na poziome funkcjonowania centralnego układu nerwowego. Tak więc, w celu zbadania wpływu techniki HRV-BFB na funkcjonowanie mózgu, powstał pomysł tego projektu. Zastosowanie neuroobrazowania przy użyciu techniki elektroencefalografii (EEG) pozwala na przeanalizowanie procesów mózgowych. W projekcie BrainHeart zbadany zostanie wpływ treningu HRV-BFB konkretnie na procesy uwagowe oraz myślenie dywergencyjne, które jest formą aktywności poznawczej najbardziej związaną z procesami twórczymi. Funkcjonowanie zostanie zbadane poprzez rozwiązywanie zadań poznawczych podczas rejestracji sygnału EEG. Porównanie uzyskanego zapisu aktywności mózgu oraz wyników zadań poznawczych wykonanych przed i po treningu, a następnie porównanie tych wyników z grupą kontrolną, pozwoli uzyskać odpowiedź, jakie procesy neuronalne uległy zmianie pod wpływem interwencji zwiększającej zmienność rytmu serca. Uzyskanie informacji na temat działania techniki HRV-BFB pozwoli na bardziej precyzyjne, naukowe zastosowanie jej w medycynie i psychologii, a także w indywidualnym zakresie, jako że metoda ta bezpieczna i łatwa w zastosowaniu.

Zespół:

Ewa Ratajczak (koordynator), Piotr Szczęsny, Julita Fojutowska,Mateusz Stawicki, Jan Szczypiński, Jakub Wojciechowski, Rafał Lepiarski, Sławomir Janiszewski