Badania koncentrują się na wykorzystaniu metod sztucznej inteligencji do automatycznego rozpoznawania i transkrypcji historycznych zapisów muzycznych, które ze względu na swoją złożoność przez dziesięciolecia pozostawały poza zasięgiem narzędzi cyfrowych. Jeżeli prowadzone badania pilotażowe przyniosą pozytywne rezultaty, możliwy będzie przełom w zakresie cyfrowej transkrypcji muzyki lutniowej zachowanej w rękopisach. Eliseo Fuentes-Martínez pozostanie we Wrocławiu do połowy lutego 2026 roku.

Zapraszamy do rozmowy o tym, w jaki sposób algorytmy mogą pomóc w odczytywaniu muzyki zapisanej kilka stuleci temu oraz czy algorytmy są w stanie nauczyć się rozumienia dawnych systemów notacji muzycznej, stanowiących wyzwanie nawet dla doświadczonych muzykologów.

Ewelina Kośmider: Czy mógłby Pan wyjaśnić, w ogólnych kategoriach, czym jest optical music recognition?

Eliseo Fuentes-Martínez: Optical Music Recognition, czyli OMR, to dziedzina w obrębie sztucznej inteligencji, która wykorzystuje techniki widzenia komputerowego do analizy źródeł muzycznych, takich jak drukowane partytury oraz rękopisy. System przetwarza obrazy całych rękopisów lub ich wybranych fragmentów i automatycznie transkrybuje zapis muzyczny do postaci cyfrowej.

Marianna Siatkowska: Aby ułatwić zrozumienie OMR, warto porównać je z OCR, czyli optical character recognition. Dziś możemy sfotografować drukowaną lub nawet ręcznie pisaną stronę i natychmiast uzyskać edytowalny tekst. W przypadku muzyki, zwłaszcza muzyki dawnej, proces ten znajduje się wciąż na wczesnym etapie rozwoju. W odniesieniu do standardowej notacji współczesnej wyniki stopniowo się poprawiają, jednak w przypadku innych systemów, takich jak tabulatury czy notacja menzuralna, wyzwania są znacznie większe. Kluczową kwestią jest skala. OMR umożliwia analizę dużych repertuarów, a nie jedynie pojedynczych utworów. Choć tabulatura lutniowa może wydawać się wąską dziedziną, jest ona niezwykle istotna, ponieważ przez długi czas była marginalizowana w muzykologii, mimo ogromnej wartości muzyki zachowanej w tym zapisie.

Grzegorz Joachimiak: Chciałbym dodać dwa przykłady. Po pierwsze, międzynarodowe katalogi, takie jak RISM, zazwyczaj prezentują jedynie incipity muzyczne. Te fragmenty mówią nam bardzo niewiele o rozwoju utworu. Po drugie, znaczna część muzyki lutniowej zachowała się wyłącznie w zapisie tabulaturowym. Przez dekady źródła te pozostawały na marginesie badań ze względu na swoją notację. Dzięki OMR oraz standardom kodowania, takim jak MEI (Music Encoding Initiative), możemy przetłumaczyć te źródła na formaty czytelne zarówno dla badaczy, jak i dla wykonawców nieznających tabulatury. Dzięki temu ogromny korpus muzyki staje się ponownie dostępny, a jednocześnie możliwe jest przechowywanie treści kompozycji.

EK: Czyli, jeśli dobrze rozumiem, te rękopisy są trudne do bezpośredniego odczytania lub wykonania przez współczesnych muzyków?

E. F.-M.: Nie do końca. Dla wykształconych muzyków i muzykologów źródła te są czytelne. Jednak model sztucznej inteligencji nie posiada żadnej wcześniejszej wiedzy o notacji muzycznej. Musi zostać nauczony interpretowania tego, co „widzi”, i właśnie dlatego te badania są konieczne.

Maria Kozan: Dlaczego muzykologia jest tak ściśle powiązana ze sztuczną inteligencją, a w szczególności z OMR?

GJ: Pytanie to jest ściśle związane z powołaniem Pracowni Muzykologii Cyfrowej na naszym uniwersytecie. Po wielu latach pracy ze źródłami historycznymi uświadomiłem sobie, że tradycyjne, ręczne metody nie są już wystarczające. Mamy do czynienia z ogromną ilością materiału. Dzięki wsparciu maszyn, modeli AI oraz systemów typu Large Language Model (LLM) możemy analizować dane w skali, która w innym przypadku zajęłaby znacznie więcej niż jedno ludzkie życie. Celem nie jest zastąpienie muzykologów, lecz nauczenie modeli rozpoznawania tego, co my sami rozpoznajemy: tego, co jest kluczowe, co drugorzędne i co rzeczywiście ma znaczenie w danym źródle. Współpraca między muzykologią a informatyką jest w tym kontekście niezbędna. Na Uniwersytecie w Alicante, na przykład, nie istnieje odrębny wydział muzykologii, lecz silna integracja z otoczeniem informatycznym.

E. F.-M.: Jesteśmy częścią Wydziału Języków i Systemów, który należy do szerszej struktury informatycznej. W jego ramach działamy w Grupie Rozpoznawania Wzorców i Sztucznej Inteligencji (PrP), której jeden z zespołów specjalizuje się w optical music recognition.

GJ: Warto podkreślić, że wykorzystanie AI (w tym podejść opartych na uczeniu maszynowym) nie jest w nauce niczym nowym. Relatywnie nowe jest natomiast ich systematyczne zastosowanie w muzykologii, zwłaszcza w niektórych krajach. W Polsce tego rodzaju badania są wciąż rzadkością na uniwersytetach. Nasze Pracownia jest obecnie pod tym względem wyjątkowe. Wybraliśmy przypadki badawcze szczególnie dla nas istotne, takie jak tabulatury lutniowe z XVII i XVIII wieku. Notacje te znacząco różnią się zarówno od wcześniejszych, jak i późniejszych systemów i stawiają poważne wyzwania badawcze. Podobne prace prowadzone są przez kolegów w Wiedniu (skupiających się na okresie do ok. 1550 roku), a wspólnie staramy się zająć obszarami, które dotąd nie zostały w pełni zbadane. Jednym z najtrudniejszych problemów jest rozpoznawanie rękopiśmiennej tabulatury lutniowej oraz interpretacja rytmu. Uważamy, że dysponujemy obiecującymi pomysłami, a wkład Elisea jest nieoceniony.

EK: Czyli w istocie tłumaczycie historyczną notację na współczesną notację pięcioliniową?

GJ: Dokładnie tak. Jest to kluczowe, ponieważ ignorowanie źródeł zapisanych w tabulaturze grozi utratą znacznej części naszego dziedzictwa muzycznego. OMR umożliwia nam pracę nie tylko z incipitami, lecz z całymi utworami. Nasi koledzy w Wiedniu koncentrują się na tzw. niemieckiej tabulaturze lutniowej, która posiada własne symbole, konwencje i warstwy historyczne. Każdy system notacyjny wymaga narzędzi i modeli specjalnie do niego dostosowanych.

EK: Czy istniały istotne różnice w notacji muzycznej pomiędzy poszczególnymi krajami?

GJ: Tak, choć systemy te funkcjonowały raczej jako tradycje stylistyczne niż ściśle narodowe. Mówimy o włoskiej, francuskiej, niemieckiej czy hiszpańskiej tabulaturze lutniowej, mimo że krążyły one szeroko po całej Europie. W Polsce, na przykład, znamy tradycję polskiej tabulatury lutniowej, choć zachowały się jedynie pośrednie kopie ze źródeł XVII-wiecznych (zbiór A. Polińskiego). Na Śląsku posiadamy nawet rękopis z lat 1538–1544, w którym łączą się włoska i niemiecka notacja tabulaturowa z repertuarem wcześniejszym, niż wskazywałaby na to data rękopisu. Dobrym przykładem jest Wojciech Długoraj (1557/8 – 1619), polski lutnista, którego utwory przetrwały głównie w źródłach zapisanych w niemieckiej tabulaturze lutniowej, jak w rękopisie przechowywanym w Stadtbibliothek w Lipsku.

MS: Istnieją ogromne ilości źródeł tabulaturowych, znacznie więcej niż jesteśmy w stanie opracować jednocześnie. Dlatego nasz projekt koncentruje się na tabulaturach literowych, często określanych jako tabulatura francuska. Opracowujemy narzędzia, które pozwolą na łatwą i efektywną transkrypcję tych źródeł oraz ich szerszą recepcję.

GJ: Innym istotnym aspektem są edycje muzyczne. Tradycyjnie przygotowanie edycji krytycznej mogło trwać dziesięciolecia. Biblioteki cyfrowe już przyspieszyły ten proces, a OMR pozwala pójść jeszcze dalej – poza samą transkrypcję, w kierunku analiz na dużą skalę i formułowania nowych pytań badawczych. W tym właśnie widzimy przyszłość naszych prac, w ścisłej współpracy z Uniwersytetem w Alicante, który jest światowym liderem w badaniach nad OMR, zwłaszcza w zakresie notacji średniowiecznej i menzuralnej. Współpraca ta wyrosła z moich badań doktorskich oraz z przygotowywanej pracy doktorskiej Marianny.

EK: To prowadzi bezpośrednio do mojego kolejnego pytania: w jaki sposób Uniwersytet w Alicante stał się tak ważnym ośrodkiem badań nad OMR?

MK: I dlaczego zdecydowałeś się na współpracę właśnie z Polską, z Uniwersytetem Wrocławskim?

E. F.-M.: Nasza grupa na Uniwersytecie w Alicante od wielu lat intensywnie pracuje nad OMR, realizując m.in. projekty dotyczące chorału gregoriańskiego oraz notacji menzuralnej. Współpraca z polskimi kolegami rozpoczęła się na początku tego roku, kiedy Grzegorz i Marianna odwiedzili Alicante. Szybko zdaliśmy sobie sprawę, że tabulatura lutniowa stanowi zarówno ogromne wyzwanie, jak i znaczącą szansę badawczą. Notacja muzyczna różni się radykalnie w zależności od epoki i gatunku, a obecnie nie istnieje jeden model zdolny obsłużyć wszystkie jej odmiany. Tabulatura lutniowa zasługuje więc na pogłębione, wyspecjalizowane badania.
Chciałbym również podkreślić, że jednym z kluczowych celów OMR jest ochrona dziedzictwa. W przeszłości muzyka przetrwała wyłącznie dzięki rękopiśmiennemu przekazowi, a wiele źródeł uległo zniszczeniu lub zaginęło. Dziś możemy nie tylko digitalizować rękopisy, ale także zachowywać ustrukturyzowaną informację o nich, co czyni przyszłą interpretację znacznie bardziej wiarygodną.

GJ: Ta wspólna wizja stanowi fundament naszej współpracy. Nasze doświadczenie w zakresie historycznych źródeł lutniowych uzupełnia technologiczne kompetencje partnerów z Alicante. Współpraca ta wyrosła z moich badań doktorskich oraz pracy doktorskiej Marianny. Po szerokich dyskusjach z kolegami, takimi jak Jorge Calvo Zaragoza i David Rizo, zdecydowaliśmy się przetestować nasze pomysły w ramach projektu pilotażowego. Pobyt Elisea we Wrocławiu jest częścią tej fazy eksperymentalnej.

MK: Eliseo, czy projekt ten jest powiązany z Twoją rozprawą doktorską?

E. F.-M.: Tak. Moja praca doktorska koncentruje się na OMR, AI i muzyce, w szczególności na multimodalności, czyli integracji obrazu, dźwięku oraz zapisu kodowanego. Tabulatura lutniowa jest szczególnie odpowiednia dla takiego podejścia, ponieważ jej interpretacja nie może opierać się wyłącznie na samym rękopisie.

MK: Jakie wyzwania metodologiczne stawiają przed obecnymi systemami OMR siedemnastowieczne i osiemnastowieczne rękopiśmienne tabulatury lutniowe?

E. F.-M.: Największym wyzwaniem jest zmienność graficzna. Notacja drukowana jest względnie jednolita, natomiast źródła rękopiśmienne różnią się ogromnie, nawet gdy zostały sporządzone przez tego samego skrybę. Różnice w nachyleniu, odstępach i sposobie wykonania znaków sprawiają, że rozpoznawanie jest niezwykle trudne. Przezwyciężenie tych rozbieżności stanowi jeden z centralnych problemów badawczych w OMR rękopisów.

MS: Poprzez trenowanie modeli na wielu zróżnicowanych przykładach tego samego symbolu umożliwiamy im uogólnianie i samodzielne uczenie się. Wymaga to obecnie dużego nakładu pracy, lecz w dłuższej perspektywie znacznie zwiększy efektywność badań.

E. F.-M.: Jest to proces symbiotyczny. Muzykolodzy dostarczają dane z adnotacjami i wyjaśniają reguły notacji. Model uczy się na podstawie tej wiedzy, a następnie wspomaga badaczy w dalszej anotacji i analizie.

MS: Każdy system notacyjny posiada własną wewnętrzną logikę. Nauczanie modelu przypomina nieco uczenie dziecka: krok po kroku pokazujemy mu, co jest najważniejsze i jak interpretować symbole w określonym kontekście.

GJ: Do badań pilotażowych wybraliśmy jedną, wyjątkowo obszerną kolekcję: śląski zbiór muzyki lutniowej z Krzeszowa (Grüssau). Zawiera on ponad 2000 utworów i jest jedną z największych tego typu kolekcji na świecie. Porównywalne zbiory istnieją jedynie w kilku miejscach, takich jak opactwo benedyktyńskie w Kremsmünster (Austria). Ta skala czyni go idealnym materiałem do testowania, czy nasze metody mogą zostać zastosowane do dużych zbiorów danych. Dodatkową trudnością jest interpretacja znaków rytmicznych w tej notacji. Rozpoznanie symboli to dopiero pierwszy krok; zrozumienie ich znaczenia muzycznego jest równie złożone. Uważamy, że dysponujemy obiecującymi rozwiązaniami, lecz wymagają one dalszych testów. Projekt ten ma również szersze znaczenie dla Polski. Poza kilkoma wyspecjalizowanymi instytucjami muzykologia cyfrowa, zwłaszcza w odniesieniu do źródeł historycznych, jest wciąż słabo rozwinięta na polskich uniwersytetach. Naszym celem jest zmiana tej sytuacji. W maju przyszłego roku będziemy gospodarzami dużego spotkania poświęconego muzykologii cyfrowej, organizowanego we współpracy z Uniwersytetem w Alicante i innymi partnerami. Na arenie międzynarodowej jedynie niewielka liczba ośrodków koncentruje się na tabulaturze lutniowej. W tym roku otrzymaliśmy grant pilotażowy w ramach nowego Konsorcjum Badawczego przy Le Studium Loire Valley Institute for Advanced Studies na rok 2025. Projekt „Tablature and Technology for Tomorrow” będzie realizowany w Centre d’Études Supérieures de la Renaissance (CESR) pod kierownictwem Philippe’a Vendrixa, pod opieką Ailin Arjmand (Programme Ricercar), i zgromadzi międzynarodowy zespół badaczy: Katerynę Schöning (Uniwersytet Wiedeński), Tima Crawforda (Goldsmiths, University of London), Johna Griffithsa (University of Melbourne) oraz Grzegorza Joachimiaka (Uniwersytet Wrocławski). Świadczy to o rosnącym uznaniu tej dziedziny.

MS: Naszą nadzieją na przyszłość jest to, że Uniwersytet Wrocławski stanie się wiodącym międzynarodowym ośrodkiem badań nad barokowymi tabulaturami lutniowymi. Dysponujemy licznymi zasobami i potencjałem, aby to osiągnąć.

MK: Jakie są długofalowe konsekwencje tych badań dla dostępności i ochrony wczesnych źródeł muzycznych?

E. F.-M.: Jednym z głównych celów OMR jest zachowanie nie tylko samych rękopisów jako obrazów, lecz także wiedzy w nich zawartej. Zapewnia to przyszłym pokoleniom możliwość dostępu do tych źródeł, ich analizy i interpretacji.

MS: Duże, dobrze ustrukturyzowane zbiory danych pozwolą przyszłym badaczom lepiej zrozumieć, w jaki sposób muzyka dawna kształtowała późniejsze tradycje muzyczne. Ostatecznie chodzi o ochronę dziedzictwa kulturowego, a nie jedynie o stosowanie zaawansowanych technologii dla nich samych.

MK: Czy może to prowadzić do większej liczby wykonań, koncertów lub nawet nowych programów akademickich poświęconych muzyce dawnej?

EK: Czy uważa Pan, że Państwa prace uczynią muzykę dawną lub gregoriańską bardziej dostępną dla wykonawców?

E. F.-M.: Zdecydowanie tak. W jednym z niedawnych projektów nasz zespół odtworzył zbiór danych, który bezpośrednio doprowadził do wykonania koncertowego muzyki niesłyszanej od stuleci. Gdy rękopisy zostaną w pełni rozpoznane i przetranskrybowane, wykonawcy będą mogli przywrócić tę muzykę do życia.

MS: Koncerty i nagrania są niezwykle istotne. Łączą repertuary historyczne ze współczesną publicznością i jednocześnie wpływają zwrotnie na współczesną praktykę muzyczną.

GJ: Chciałbym wspomnieć o jeszcze jednej inicjatywie, w którą Marianna i ja jesteśmy zaangażowani: COST Action EarlyMuse – A New Ecosystem of Early Music Studies, w ramach której kieruję grupą roboczą SOURCES studies (WG2). Skupiamy się na europejskim dziedzictwie muzycznym do XVIII wieku i później, obejmującym rękopisy, druki, instrumenty i kopie. Zanim będziemy mogli wykonywać lub reinterpretować tę muzykę, musimy najpierw zidentyfikować i zrozumieć to, co się zachowało. Bez wsparcia technologicznego zadanie to byłoby niemożliwe. AI pozwala nam zmierzyć się z ogromną liczbą nieopracowanych źródeł wciąż ukrytych w bibliotekach.

EK: Eliseo, czy mogę zapytać Cię o Twoje przygotowanie? Czy miałeś do czynienia wcześniej z muzyką lub informatyką?

E. F.-M.: Kształciłem się jako pianista, studiowałem inżynierię komputerową, a następnie ukończyłem studia magisterskie z zakresu sztucznej inteligencji. Moja praca łączy wszystkie te obszary badawcze.

EK: Jako osoba spoza tej specjalizacji nauczyłam się dziś bardzo wiele. Lutnia wydaje się instrumentem centralnym dla muzyki dawnej – czy jej repertuar został w dużej mierze zapomniany?

GJ: Od XVI wieku lutnia i organy należały do najważniejszych instrumentów. W XVII i XVIII wieku muzyka lutniowa rozkwitała szczególnie w Europie Środkowej: na Śląsku, w Niemczech, Austrii i Czechach. Źródła te są niezwykle bogate stylistycznie, łącząc wpływy francuskie z lokalnymi tradycjami, w tym z muzyką dewocyjną i duchową. Ich zapis rękopiśmienny jest wyjątkowo trudny do analizy, co sprawiło, że przez długi czas pozostawały one zaniedbane. Jeśli nasze badania zakończą się sukcesem, mogą stanowić istotny przełom w badaniach nad historyczną notacją muzyczną.

Opracowanie: Maria Kozan

Data publikacji: 19.12.2025
Dodane przez: M.K.