Paweł Dzikiewicz, Tomasz Koralewski, Jakub Ner i Adam Pawłowski z Koła Naukowego Neuroinformatyki Neuron zwyciężyli w tegorocznej edycji Konkursu CreatiWITy. Wygraną dał im zespołowy projekt – Mentalizer. To zestaw narzędzi, który umożliwia integrację modeli rozpoznawania emocji z aplikacjami.

Zdefiniować emocje

Studenci z KN Neuroinformatyki Neuron zastanawiali się nad tym, czy mogliby dostosować aplikacje do stanu wewnętrznego użytkownika. Żeby móc to sprawdzić stworzyli framework, który umożliwia wykorzystanie interfejsu mózg-komputer, czyli specjalnego czepka.

– Czepek mierzy aktywność elektryczną naszego mózgu. Pomiędzy neuronami przeskakują impulsy elektryczne i my jesteśmy w stanie to zebrać z powierzchni mózgu za pomocą elektrod znajdujących się w czepku. Ten sygnał odpowiednio przetwarzamy i wykorzystujemy do trenowania modeli, czy później też do oceniania w jakim stanie jest użytkownik – tłumaczy Paweł Dzikiewicz, prezes KN Neuroinformatyki Neuron i jeden z twórców Mentalizera.

Jednym z największych wyzwań było precyzyjne zdefiniowanie emocji. Dzięki analizie naukowej studentom udało się stworzyć konkretne definicje: znudzenie – bodziec niewystarczający, immersja (flow) – bodziec optymalny, frustracja – bodziec przytłaczający/za duży.

– Wystarczy podłączyć urządzenie i można grać w grę. Jeśli użytkownik się nudzi, wtedy pojawia się więcej przeciwników. To jakie emocje rozpozna Mentalizer zależy do klasyfiklatora, który się wytrenuje. My wytrenowaliśmy dwa na podstawie dwóch różnych eksperymentów. Jeden klasyfikował nudę oraz flow, czyli stan kiedy użytkownik jest zaangażowany w rozgrywkę – mówi Jakub Ner, członek zespołu.

Łączy technologię z psychologią

Zdaniem twórców Mentalizer to innowacyjne narzędzie, które łączy technologię z psychologią, by lepiej rozumieć i reagować na emocje użytkowników. Jak piszą „wzbogaca on doświadczenia z każdą aplikacją, zapewniając bardziej spersonalizowane oprogramowanie, a dzięki rejestrowaniu fal mózgowych dynamicznie reaguje na zmiany nastroju. Pozwala to użytkownikowi na czerpanie większej satysfakcji”.

– Naszym głównym zamiarem jest utrzymywanie gracza w tym stanie zaangażowania i wykrywanie odchyleń w dwa inne stany, czyli znudzenie albo frustrację. Kiedy aktywność, którą użytkownik wykonywał w aplikacji była dla niego zbyt prosta zwiększaliśmy poziom trudności, żeby trochę podbić mu adrenalinę, by się po prostu zainteresował tym co się dzieje na ekranie – tłumaczy Tomasz Koralewski, jeden ze studentów.

Analogicznie działa to w drugą stronę. Jeśli rozgrywka była zbyt wymagająca i u grającego doszło do frustracji, wtedy zmniejsza się mu poziom trudności.

Producenci gier, chcąc zaoferować graczowi jak najciekawszą rozgrywkę, testują gry zanim te trafią na rynek.

– Dzieje się to jednak na etapie produkcji i testów. My natomiast skupiliśmy się na tym, żeby gra dopasowywała się na bieżąco. Stworzyliśmy nie tylko grę zmieniającą poziom trudności, ale cały zestaw narzędzi, żeby można było to wdrażać do innych aplikacji – zauważa Paweł Dzikiewicz.

Na straży bezpieczeństwa

Gry z dynamicznym poziomem trudności to jeden z przykładów tego jak można wykorzystać Mentalizer. Drugim jest symulacja pracy kontrolera bagaży na lotnisku.

– Jego zadaniem jest wyłapywać niebezpieczne przedmioty, kiedy patrzy na x-raya. Klasycznie systemy na lotniskach robią taki trik, że czasami wyświetlają coś czego rzeczywiście nie ma w walizce. Na przykład pistolet, po to żeby wyłapać, że kontroler na to zareaguje – tłumaczy Adam Pawłowski, jeden z czterech twórców Mentalizera.

Studenci z KN Neuroinformatyki Neuron pomyśleli, że w mogliby podłączyć do tego systemu swój wykrywacz nudy i nie wyświetlać niebezpiecznych przedmiotów losowo, ale wtedy kiedy kontroler rzeczywiście popada w rutynę. Ich zdaniem wtedy, mogłoby to działać lepiej.

Narzędzie na medal

Praca zespołu została doceniona na arenie międzynarodowej i lokalnej. Studenci zajęli 2 miejsce na świecie w hackathonie NeuroTechX 2023, gdzie przygotowany w zaledwie 24 godziny prototyp Mentalizera podbił kategorię Software. 

Twórcy narzędzia zostali też finalistami w kategorii "Innowacyjność" na gali Młode Talenty 2024 organizowanej przez Dolnośląski Klub Kapitału. Ostatnim sukcesem jest zwycięstwo w kategorii projekt zespołowy w organizowanym przez nasz wydział konkursie CreatiWITy.

– Wygrana w CreatiWITy to szansa na rozgłos. Forma sprawdzenia się i docenienie nas za naszą pracą i wkład. Może być też inspiracją dla innych, żeby robili takie projekty – uważa Paweł Dzikiewicz.

Zespół nie zwalnia tempa. Plany na przyszłość obejmują dodanie modułu umożliwiającego dotrenowywanie modeli AI, publikację pracy naukowej o wpływie klasyfikatora na zdolność do nauki, współpracę z twórcami aplikacji, by Mentalizer znalazł zastosowanie w edukacji, grach czy innych dziedzinach.

– Nasz projekt jest otwartoźródłowy. Nie chcemy go wygaszać. Była też taka sytuacja, że jedna osoba spoza naszego projektu dołożyła cegiełkę do kodu i nas wsparła. Liczymy, że to się powtórzy – podkreśla Adam Pawłowski.