Paweł Dzikiewicz, Izabela Paniczek i Dominika Serafin – studenci z naszego Strategicznego Koła Naukowego Neuroinformatyki Neuron zdobyli trzecie miejsce w międzynarodowym hackatonie „Music and AI”, który zorganizowano w japońskiej Narze. Gratulujemy! W konkursie rywalizowało ponad 100 osób z całego świata.

Hackaton odbył się w świątyni Gyokuzoin w Narze, a udział mogli w nim wziąć twórcy oprogramowania, graficy, specjaliści ds. interfejsów użytkownika, a także eksperci i profesjonaliści z branży procesowej. Ich zadaniem było zidentyfikowanie problemów i stworzenie rozwiązań programistycznych w ciągu 24 godzin.

W rywalizacji wzięli udział studenci WIT Paweł Dzikiewicz, Izabela Paniczek i Dominika Serafin. Ich zespół stworzył działającą w czasie rzeczywistym aplikację terapeutyczną, która analizuje aktywność mózgu użytkownika (z wykorzystaniem sprzętu EEG), rozpoznaje jego stan emocjonalny przy pomocy modelu sztucznej inteligencji i generuje muzykę (z wykorzystaniem dużego modelu językowego) oraz wizualizację dostosowaną do aktualnego nastroju odbiorcy).

– Od dłuższego czasu interesuje nas łączenie nowych technologii z obszarem wsparcia psychicznego i emocjonalnego. W poprzednich projektach eksplorowaliśmy połączenia sztucznej inteligencji, neuronauki i psychologii – opowiada Izabela Paniczek. – Sztuka, w tym muzyka, odgrywa istotną rolę w wielu formach terapii, dlatego postanowiliśmy zgłębić temat. Chcieliśmy pójść o krok dalej i wykorzystać modele generatywne do tworzenia muzyki jako elementu wspierającego proces terapeutyczny – dodaje.

W grudniu nasi studenci otrzymali grant w ramach projektu „Wsparcie studentów w zakresie podniesienia ich kompetencji i umiejętności” finansowanego przez Ministerstwo Nauki i Szkolnictwa Wyższego z Programu Funduszu Europejskiego. W czerwcu zdecydowali się stworzyć aplikację wspierającą proces terapii w trakcie 24-godzinnego hackatonu. 

W Japonii zespół był oceniany pod względem technicznym, obejmującym rozmowę z jury oraz przedstawienie kodu i prezentacji końcowej, w trakcie której zawodnicy musieli krótko zaprezentować swoje rozwiązanie.

– Z uwagi na ograniczony dostęp do internetu, napotkaliśmy trudności związane z pobieraniem bibliotek i narzędzi niezbędnych do stworzenia aplikacji. Nasz projekt wymagał m.in. bibliotek do przetwarzania muzyki w formacie MIDI oraz technologii takich jak FastAPI, React i Three.js. Musieliśmy szybko przeorganizować pracę zespołu, dzieląc obowiązki w taki sposób, by jak najwięcej zrealizować bez konieczności pobierania zewnętrznych zasobów – wyjaśnia studentka.

Za zajęcie trzeciego miejsca nasza drużyna otrzymała nagrodę w wysokości 1 000 euro oraz nagrody rzeczowe. Co ważne, studenci zamierzają nadal rozwijać swój projekt.

– Skupiamy się na dalszym udoskonalaniu modułów generujących muzykę, rozbudowie efektów wizualnych aplikacji oraz połączeniu jej z dziennikiem emocji. Taki dziennik pozwoli użytkownikowi, a także terapeucie śledzić i analizować zmiany stanu emocjonalnego w czasie. Dodatkowo planujemy napisać pracę naukową opisującą zastosowane przez nas rozwiązania w kontekście połączenia AI, muzyki i neuronauki – zapowiada Izabela. – Należy pamiętać, że jest to aplikacja wspierająca terapię, a nie całkowicie ją zastępująca. W przyszłości może służyć jako narzędzie stosowane przez terapeutów – podkreśla.

Zespół działającego na WIT Strategicznego Koła Naukowego Neuroinformatyki Neuron składa się z programistów i osób zainteresowanych neuroinformatyką. Studenci pracują z interfejsami mózg-komputer, za pomocą których zbierają informacje o aktywności mózgowej w celu dalszego ich przetwarzania. Na tej podstawie przygotowują modele sztucznej inteligencji i wykorzystują je w różnego rodzaju aplikacjach.