Marek Chooniewski Systemy interaktywne I.

Interakcja, historia
Interakcja towarzyszy czowiekowi od czasw najdawniejszych. Wystpowaa jako naturalna reakcja na bodce pynce ze strony naturalnych si przyrody. Konstrukcja narzdzi, od najbardziej podstawowych do coraz bardziej zoonych, w tym budowa prostych instrumentw muzycznych wyznaczaa pierwsze formy technologii stosowanej do celw uytkowych i rytualnych. Synchronizacja czynnoci manualnych i ruchowych z odbiorem bodcw suchowych i wzrokowych tworzya wczesne formuy interaktywnoci na rnych poziomach stosowania. Integracja taca, piewu i gry na instrumentach muzycznych wyznaczay od pocztku istnienia cywilizacji ludzkiej formy sztuki synkretycznej, w ktrej wzajemne pobudzanie, stymulowanie, dialogowanie, nakadanie, przetwarzanie byy jednymi z wielu skadnikw interakcji jako jzyka i form komunikacji. Gra na instrumencie opiera si na szczeglnej formie interakcji wykonawczo-suchowej, gdzie muzyk jest zarwno wykonawc, jak i odbiorc wykonywanej muzyki, za kadym razem staje si czci zintegrowanego procesu kreatywno-percepcyjnego. Pobudzanie instrumentu do gry i rwnoczesny odbir dwikw stanowi podstawowy model interakcji pomidzy wykonawc, a drgajcym instrumentem. Podobne zalenoci wystpuj w innych formach aktywnoci czowieka, gdzie wykonywane czynnoci potwierdzane s na poziomie podstawowych zjawisk fizycznych przez reakcj przedmiotw, rezonans pomieszcze, a w przypadku wspdziaania wikszej iloci osb, grupowego oddziaywania na globaln kreatywno i percepcj. Interakcja w muzyce i sztuce audiowizualnej z zastosowaniem technologii komputerowej jest wan czci bada i projektowania systemw komputerowych od koca lat 60-tych (Max Mathews Groove). Dotyczya gwnie synchronizacji czasowej wybranych elementw przygotowanej wczeniej partytury komputerowej podczas jej koncertowego wykonania. Max Mathews tworzc podstawowe modele interaktywnoci pod koniec lat 60-tych rozdzielczo

gestu ludzkiego mierzy z dokadnoci 256 zmian na sekund. Ta miara w ostatnich czasach ulega znacznemu podwyszeniu w zalenoci od stosowanych technologii, jak i modeli interaktywnoci. Ten ostatni element bynajmniej nie poda cile za rozwojem technologii, raczej poszerza obszar zastosowa interakcji od solowych wykona koncertowych, po rozoone w czasie i przestrzeni projekty interaktywnej sztuki sieciowej. Modele interaktywnoci dotycz zarwno zalenoci pomidzy gestem pojedynczego wykonawcy jak i grupowego wspdziaania z instalacj interaktywn, czy wrcz zoonego w czasie i przestrzeni kompleksowego wspdziaania wykonawcw i odbiorcw bdcych czci zoonych struktur interaktywnych. Klasyfikacja sztuki interaktywnej dotyczy modeli i strategii interaktywnoci, technologii urzdze i oprogramowania. Wspczesnym synonimem interaktywnoci jest zdalny, bezdotykowy kontakt ze rdem dwiku, obrazu, instalacj dwikow lub audiowizualn, stosujc bardzo rne technologie, zarwno cyfrowe, jak i mechaniczne, elektryczne, elektromechaniczne, elektromagnetyczne, elektrostatyczne, elektroniczne i wiele innych porednich, mieszanych i interdyscyplinarnych technologii. Wiele wspczesnych rozwiza technologicznych pozostaje z jednej strony w analogii do konstrukcji tradycyjnych instrumentw, z drugiej za wprowadza nieznane dotychczas formy kontroli nad dwikiem i obrazem wyznaczajc nowe formy interaktywnoci. Przykadem mog by ekrany dotykowe z graficznymi symulacjami tradycyjnych instrumentw, w tym klasycznych instrumentw klawiszowych, strunowych, dtych i perkusyjnych, zespow instrumentalnych, a nawet otwartych przestrzeni z naturalnymi dwikami otoczenia. Dynamiczny rozwj wspczesnych systemw dotykowych dostpnych w tabletach, telefonach komrkowych i rnych formach przenonych urzdze integrujcych dwik i obraz otworzy nieznane dotychczas moliwoci interakcji na poziomie bardzo rnych zastosowa artystycznych. Innym przykadem coraz powszechniejszego dostpu do technologii interaktywnych jest dynamiczny rozwj konsoli gier komputerowych, oraz rnorodnych kontrolerw projektowanych gwnie w celach rekreacyjnych. Poprzez masow produkcj urzdze wyposaonych w sensory ruchu, kamery podczerwieni oglnie dostpne staj si kontrolery typu Nintendo Wii Remote, Nunchuck, maty taneczne, czy te wprowadzony na rynek w II poowie 2010 roku kontroler Kinect. Poza gwnymi funkcjami obsugi gier komputerowych mog one by uywane do bardzo nietypowych zastosowa interaktywnych. Instalowane coraz czciej we wspczesnych urzdzeniach przenonych powszechnego uytku (smartfony, fotograficzne aparaty cyfrowe, odtwarzacze mp3/mp4) akcelerometry/yroskopy i ekrany dotykowe wprowadzaj nowy standartstandard intuicyjnej obsugi urzdze poprzez naturalne tumaczenie gestu na wybrane zjawiska audiowizualne. Forma kontaktu z systemem interaktywnym, detekcja ruchu i sposb wyzwalania reakcji instrumentu, instalacji dwikowej wymaga szerszego omwienia.

II. Gest
Rozdzia ten dotyczy rnych form tumaczenia gestu na zdarzenia dwikowe. Gest wykonawcy moe przyjmowa rozmaite formy i odnosi si do rnych tradycji wykonawczych i kulturowych.

1. Gest muzyczny Projektowanie wspczesnych systemw interaktywnych musi bra pod uwag formy gestu ludzkiego, jego moliwoci, jak i naturalne ograniczenia.
Gest muzyczny odnosi si do zmiany pozycji rk, w tym szczeglnie ruchu palcw. Jest bezporednio zwizany z budow tradycyjnych i wspczesnych instrumentw muzycznych. Naley rozrni rne typy gestu muzycznego powizanego z technik gry na poszczeglnych typach instrumentw. a. gest klawiaturowy Forma gestu powizania z gr na klawiaturze, posiada swoje odniesienie do tradycji gry na instrumentach klawiszowych (organy, klawesyn, fortepian, klawiatura MIDI,etc.). Gest klawiaturowy wydaje si by najbardziej zoonym gestem dajcym moliwo sterowania 10 zdarzeniami rwnoczenie. Wanym poszerzeniem tradycyjnych technik gry na klawiaturze w XX wieku s techniki klasterowe, rwnoczesna gra na klawiaturze i na strunach, stukanie w korpus instrumentu. Rozmiar doni wykonawcy, odlegoci pomidzy palcami stanowi naturalne ograniczenie przekadajce si na zoono faktury wykonywanych tradycyjn technik partytur muzycznych. Zastpienie tradycyjnej klawiatury nowymi klawiaturami dotykowymi, tamami umoliwiajcymi pynn zmian wysokoci (m.in. Fale Martenota), czy te w latach 60-tych klawiatura Synthi AKS stanowia pardziesit lat temu alternatyw wymagajc poszerzenia tradycyjnych technik wykonawczych na klawiaturze, a w przypadku typowej klawiatury MIDI wyposaonej w zestaw obrotowych i suwakowych kontrolerw. b. gest dyrygencki Prototypem bezdotykowego instrumentu interaktywnego by Theremin (Thereminvox) skonstruowany w 1920 roku przez Lwa Termena (Leona Theremina). Dwie anteny tumaczce ruch rk wykonawcy na pynne zmiany wysokoci i gonoci monofonicznej partii elektronicznej (ton sinusoidalny) s modelem, na podstawie ktrego tworzono wiele innych bezdotykowych instrumentw, przede wszystkim ostatnio w erze dynamicznego rozwoju technologii cyfrowej.

Theremin jest rwnoczenie prototypem sterownika tumaczcego ruchy rk, ktre w swojej formie najbardziej zblione s do dyrygenckich. Skonstruowany przez Maxa Mathewsa system Groove posiada szereg kontrolerw i by sterowany programem Conductor, bdcym prototypem programu dyrygenckiego, w ktrym wirtualna orkiestra dyrygowana bya za pomoc Batuty Radiowej (Radio Baton). System by wielokrotnie modyfikowany zachowujc podstawowy ukad dwch anten, przecinajcych 3-wymiarow przestrze nad poziom powierzchni 3wymiarowej anteny odbiorczej. Wygld Radio Baton, jak i sposb gry na instrumencie bardziej przypomina gr na kotach. Niemniej jednak zasada dyrygowania wczeniej przygotowanymi strukturami dwikowymi (w wikszoci przypadkw Max Mathews posugiwa si fragmentami znanych utworw z repertuaru klasycznego) stanowia niezwykle przekonujcy przykad modelu dyrygenckiego. Analogia midzy Thereminem i Batut Radiow dotyczy gwnie konstrukcji 2 anten - sterownikw. Theremin by monofonicznym instrumentem, a Radio Baton od samego pocztku posiada ogromny potencja do tworzenia nieograniczonych, wielowarstwowych i wieloelementowych modeli interaktywnych projektw audiowizualnych.

Max Mathews wykonuje Ari na strunie G J.S. Bacha za pomoc Radio Baton

c. gest smyczkowy Cige, posuwiste ruchy rki z interaktywnym systemem Sensorlab stosuje od lat Franziska Baumann, szwajcarska flecistka i wokalistka, przetwarzajca w swoich utworach wasny gos. Formy przetworze dotycz manipulacji czasowych, transformacji barwy gosu w kierunku kategorii bardzo dalekich od wokalnych. Ruchy rki wykonawcy z przymocowanymi czujnikami ruchu pozwalaj take na kontrol wielokanaowej przestrzeni dwikowej. Smyczkowanie jako gest interaktywny zosta wykorzystany w kompozycji Ephreia na kwartet smyczkowy Michaa Paweka, w ktrym prawa rka muzykw kwartetu smyczkowego wyposaona w czujniki ruchu zamienia pocignicia smyczkw na sterowanie wybranymi parametrami przetworze dwiku. Powizanie naturalnych ruchw rk wykonawcw z

wybranymi parametrami przetworze, daje w wielu wypadkach niezwykle oryginalny rezultat. Podstawowy, akustyczny materia dwikowy kwartetu smyczkowego dokonuje pynnego przejcia w rejony dalekie od brzmienia instrumentw smyczkowych miksujc rne kategorie dwikw przetworzonych ze strukturami generowanymi interaktywnie. d. gra na instrumencie dtym Od lat produkowane na wzr tradycyjnych instrumentw dtych kontrolery, wrd ktrych najbardziej znany to EWI (Electronic Wind Instrument). Instrument wykorzystuje technik wykonawcz stosowan w wybranych instrumentach dtych, przyjmujc ksztat fletu (Akai), saksofonu (m.in. Casio), lub te puzonu (Propeller Trombone Nicolasa Collinsa). e. gest perkusyjny Gest perkusyjny jest najbardziej zoonym i w wielu przypadkach czy rne tradycje wykonawcze. Kontrolery przyjmuj form instrumentw perkusyjnych o okrelonej wysokoci K.A.T. (marimba MIDI), lub te typowego zestawu perkusyjnego zastpionego przez zestaw membran na statywach z czujnikami nacisku (MIDI Drum Set). Warto zauway, e zestaw elektronicznych padw perkusyjnych w swojej podstawowej postaci to pola reagujce na pojedyncze uderzenia, w swej bardziej zaawansowanej postaci reagujce take na si uderzenia i miejsce uderzenia. Ciekawym rozwizaniem o bardzo niskiej cenie jest interaktywna mata taneczna. Klasyczna mata taneczna posiada 10 niezalenych, wyzwalanych polifonicznie pl uderzenia i w swojej topografii przypomina klasyczny zestaw perkusyjny. f. gest szarpany Kontrolery imitujce gr na instrumentach strunowych szarpanych posiadaj czujniki napicia strun, lub te reaguj na ruch wirtualnych strun. ISA Harp Petera Sycha jest kontrolerem MIDI z 16 poziomymi i 16 pionowymi niewidzialnymi strunami rozcignitymi na metalowej ramie. Instrument poza swoj podstawow form polifonicznego instrumentu szarpanego jest uywany jako kontroler wideo i tablet dyrygencki.

2. Gest techniczny
Powizany jest cile z obsug specjalistycznych urzdze technicznych, odtwarzaczy, komputerw, kontrolerw MIDI etc. i dotyczy okrelonych form ruchu rki. Typowy dla dziaa towarzyszcych realizacji koncertw muzyki elektroakustycznej gdzie kompozytor, realizator zajmuje si projekcj dwiku w wielokanaowej przestrzeni, rwnoczenie dokonujc korekty barwy, obsugujc take dodatkowej parametry barwy dwiku na stole mikserskim. Ten rodzaj wspdziaania z odtwarzan z tamy lub komputera kompozycj elektroakustyczn daleki jest od ywego, ekspresyjnego wykonania utworu na instrumencie, lub poprzez system interaktywny. Niemniej jednak formy gestw towarzyszcych wykonywaniu muzyki elektroakustycznej w bardziej tradycyjnej formie zawieraj ruchy, ktre pojawiaj si do czsto w obsudze tabletw graficznych i dotykowych ekranw zawierajcych symulacj mikserw, Peter Sych - ISA Harp wielociekowej struktury utworu, wraz z symulacj instrumentw dajcymi moliwo dogrania niektrych partii na ywo.

a. obrotowy, najczciej stosowany do obsugi pokrte, suwakw, przyciskw, joystickw itp. Gest obrotowy nie posiada swojego odpowiednika w grze na instrumentach tradycyjnych, z wyjtkiem gry na lirze korbowej, czy te glissand na

harfie. Jest on bezporednio kojarzony z obsug pokrte rnej wielkoci, bdcych skadow stow mikserskich, kontrolerw MIDI itd. Gest obrotowy uywany jest bardzo czsto w wielociekowych programach sekwencerowych, obiektowych systemach programowania jako substytut fizycznych pokrte. b. przesuwowy powizany z obsug suwakw bdcych czci wielu instrumentw i urzdze. Jest analogi do gry na instrumentach smyczkowych, puzonie, glissanda na klawiaturze, a take typowego gestu tanecznego c. dotykowy jednokrotny to rodzaj gestu cyklicznego majcy na celu stopniow skokow zmian wybranych wartoci. Rozwizanie typowe dla wielu urzdze polegajce na zwikszaniu lub zmniejszaniu okrelonej wartoci poprzez wielokrotne naciskanie na dwa pola + - . d. dotykowy wielopunktowy (multitouch) jest form rwnoczesnego sterowania wybranych parametrw za pomoc kilku palcw. Wspczesne systemy umoliwiaj niezalene przesuwanie/otwieranie/zamykanie wybranych parametrw. Technika multitouch umoliwia rwnoczesne sterowanie kilkoma parametrami dostpnymi na ekranie dotykowym. Stosowany do polifonicznego sterowania wielokanaowych sekwencji. Jednym z systemw uywajcych multitouch na iPhonie/iPadzie/iPodzie Touch jest program Oscemote skadajcy si z 4 niezalenych paneli sterowania. Kade pole pojawiajce po dotkniciu dowolnego punktu na ekranie moe wysya zmienne strumienie danych sterujce wczeniej zaprogramowanymi parametrami w odbiorniku, jakim moe by dowolny system pracujcy w standarcie OSC lub MIDI. Tworzenie zmiennych konfiguracji pocze to jeden z licznych rozwiza z zastosowaniem technologii Multitouch zarwno na coraz bardziej dostpnych przenonych urzdzeniach z ekranem dotykowym, jak i Multitouch w programie Oscemote systemach wyposaonych w monitor dotykowy. e. parametryczny jest gestem powizanym z wybranymi elementami wykonywanej kompozycji. Ten rodzaj gestu ma swoje powizanie z obsug urzdze technicznych, specjalistycznych, odrbnych systemw specjalnie konstruowanych do okrelonych zastosowa interaktywnych

Squint

1. Gest taneczny i ruch ciaa

Jest cile powizany z tradycj taca, zarwno klasycznego (balet), wspczesnego, kultur etnicznych jak i naturalnego ruchu aktorw na scenie w teatrze, czy te sztuce performance. Te formy ruchu stosowane s w sztuce interaktywnej zarwno w swej czystej, fizycznej (kinetycznej) postaci, bdc poszerzeniem form sztuk performatywnych, czy wreszcie wykorzystujce naturalny gest i ruch osb wyzwalajcych dwiki i obrazy instalacji interaktywnych. Ruch caego ciaa bdcy przedueniem gestu jest procesem typowym dla taca, zarwno w jego tradycyjnych formach, rozwinitej artystycznie formie jakim jest balet i niezwykle rnorodnych formach taca wspczesnego, ale take w formach sztuki performance. Midzynarodowy zesp Squint od dawna stosuje interaktywny kostium Miburi produkowany w ograniczonej iloci przez firm Yamaha. Squint czy taniec interaktywny z gr na instrimentach akustycznych i interaktywnych kontrolerach (m.in. K.A.T.). Instalacje interaktywne dostpne dla publicznoci posuguj si czstokro podobnymi rozwizaniami technologicznymi opartymi na mapowaniu przestrzeni i instalowaniu systemu czujnikw ruchu. Instalacja monitorujca przestrze ekspozycji instalacji posuguje si zazwyczaj dwoma rozwizaniami technologicznymi:

a. Monitorowanie przestrzeni poprzez systemy sensoryczne okrelajce precyzyjnie ruch

wok czujnika lub ich zestawu, kalibrowane w okrelonym zakresie. - System MCOS zaprojektowany w latach 90-tych przez M. Chooniewskiego skada si z szeregu czujnikw optycznych podczonych do kontrolera MIDI. Dziaa poprzez elektroniczne rozszerzenie funkcji suwakw i pokrte. Kady z sensorw kalibrowany jest w zakresie 0 - 127 i pracuje jako niezaleny kontroler MIDI (CC). Strumie danych otrzymywanych z poszczeglnych kontrolerw traktowany jest niezalenie i moe by uywany do bardzo rnych zastosowa. W projekcie lighting z 1995 roku trzy sensory optyczne podczone byy do kontrolera gonoci (CC7), modulacji (CC1) oraz PitchBand sterujc trzema niezalenymi strukturami dwikowymi. - W roku 1999 na zamwienie Avantagrde Tirol powstaa kompozycja dark&lightZone M. Chooniewskiego dla londyskiego Kwartetu Arditti. Wykonywana bya w rnych skadach,

take przez zesp taca wspczesnego (Stanislaw Wisniewski Compagne) i w formie interaktywnej instalacji dwikowej (Galeria IMT w Londynie).

b. Analiza wybranego fragmentu przestrzeni poprzez kamery wideo. - David Rokeby zaprojektowa jeden z pierwszych interaktywnych systemw wideo
skanujcych ruch w przetrzeni ju w 1982 roku. Very Nervous System 1 (VNS) bdcy pocztkowo interaktywn instalacj wideo zosta opracowany jako oglnie dostpny system interaktywny. Duet qfwfq 2 (Andrea Pensado, Greg Kowalski) z Bostonu uywa systemu zarwno do performance jak i instalacji interaktywnych.

Memory of Looking Glass - instalacja

1 2

http://homepage.mac.com/davidrokeby/vns.html www.qfwfqduo.com

- Wrd systemw wideo uywanych do interakcji znalazy si w okresie pniejszym systemy

Big Eye oraz Imagine opracowane w latach 90-tych w centrum STEIM w Amsterdamie. Od tamtego czasu pojawio wiele programw komercyjnych i specjalistycznych systemw programowania obiektowego, m.in. Jitter 3, bdcy rozszerzeniem systemu Max/MSP.

- Eric Singer zaprojektowa obiekt Cyclops 4 w ramach systemu Max/MSP posiadajcy wzory
ruchu w przestrzeni dajce moliwo skanowania gestw, ruchu postaci i przedmiotw w kadrze kamery.

- Jednym z oglnie dostpnych obecnie programw do przetwarzania obrazu wideo jest

system Arkaos Vj 5 pozwalajcy na czenie materiau wideo/audio z grafik, obiektami flash oraz podczenie kilku kamer wideo przekazujcych obraz na ywo. Materia wideo w formie tzw. visuals oraz efektw wideo posiada w swojej wewntrznej konfiguracji moliwo sterowania wybranymi parametrami za pomoc kontrolerw MIDI. Wyzwalanie poczonych obiektw visuals z algorytmami effects odbywa si za porednictwem klawiatury komputera lub klawiatury MIDI, a za pomoc specjalnie zaprojektowanego patcha Max/MSP moliwe jest te sterowanie caym materiaem za pomoc wybranych kontrolerw MIDI. Zastosowanie kontrolerw ruchu, poczenie ich z kamer podczon do systemu daje ogromne moliwoci tworzenia wielowarstwowej interakcji.

3 4

http://cycling74.com/products/maxmspjitter http://cycling74.com/products/cyclops 5 www.arkaos.net

Marek Chooniewski - face

- Program Isadora

firmy Troikatronix posiada wiele funkcji skanowania przestrzeni przez kamer wideo, Stosowany zarwno do performance interaktywnych jak i instalacji wideo.

- Bardzo

ciekawym rozwizaniem jest zastosowanie kamery podczerwieni dajcej moliwo skanowania wyciemnionej przestrzeni, reagujcej na nieowietlone obiekty znajdujce si w ruchu, a wic np. publiczno odwiedzajc miejsce ekspozycji, lub te ruchome przedmioty bdce czci instalacji.

www.troikatronix.com

10

III. Modele interaktywne

Modele interaktywne ukazuj zaleno pomidzy iloci rwnoczesnych akcji i odpowiadajcym im reakcjom dwikowym lub audiowizualnym. Ta bardzo wana cz rozwaa dotyczy form konwersji interakcji. Pierwszy i ostatni model w zestawieniu poniej obrazuj odpowiednio pen i minimaln kontrol nad wykonywanymi na ywo strukturami dwikowymi lub audiowizualnymi. Rwnoczenie pierwszy i ostatni model zwizane s odpowiednio z zawonym i nieograniczonym zakresem materiau dwikowego i wizualnego. Modele interaktywne s otwart list okrelonych kategorii. 1. Model organowy (organ mode) mona wyrazi wzorem 1 gest = 1 dwik Jest to klasyczny model sterowania dwikw syntetycznych z klawiatury MIDI, lub za pomoc wybranych kontrolerw (np. EWI), stosowany rwnie przy zamianie wysokoci dwiku akustycznego na jego syntetyczne odpowiedniki w urzdzeniu Pitch to MIDI Converter. W modelu tym zachowujemy pen kontrol nad pojedynczym dwikiem, jednak posiadamy powane ograniczenie dotyczce gstoci i zoonoci faktury dwikowej i wideo.

2. Model szyfrowany (coded mode) - 1 gest = x dwikw

Ten model rozwizuje ograniczenia modelu organowego poprzez wprowadzenie tabel konwersji i mapowania systemu powizanego z pojedynczym gestem i wielowarstwowej reakcji systemu. Jednym z pierwszych zastosowa tego modelu bya kompozycja Stanisawa Krupowicza Concerto z 1987 roku. Partia komputera zaprogramowana w systemie MIDI Lisp wykonywana za pomoc klawiatury MIDI zapisana zostaa w formie tradycyjnej partytury. Nuty partii komputera nie odpowiadaj konkretnym wysokociom dwiku syntetycznego, lecz uruchamiaj rne sekwencje syntetycznych zdarze dwikowych. W ten sposb pojedynczy gest polegajcy na wciniciu jednego klawisza wyzwala wiksz ilo zdarze dwikowych, ktrych zoono zaley wycznie od programisty, kompozytora, autora systemu interakcji.

3. Model dyrygencki (conducting mode)

Pojedynczy gest przekada si na wybrane grupy parametrw. Pionierem prac nad dyrygowaniem wirtualn orkiestr komputerow by Max Mathews i jego pierwszy system interaktywny Groove skonstruowany w 1969 r. Do najbardziej znanych kontrolerw Maxa Mathewsa naley Radio Baton sterujcy wielopaszczyznow parti wirtualnej orkiestry poprzez program Conductor 7. Kontroler wraz z systemem wielokrotnie prezentowany by w Polsce przez Richarda Boulangera z Berklee College of Music w Bostonie. Jego kompozycja Shadows na skrzypce i komputer jest utrzymana w konwencji koncertu skrzypcowego dla solisty wykonujcego parti solow i dyrygenta realizujcego parti orkiestry sterowanej za pomoc Batuty Radiowej.

www.musanim.com/tapper/ConductorProgram.html

11

Richard Boulanger (Radio Baton) i Barbara Stuhr (skrzypce) wykonuj Shadows R. Boulangera podczas Festiwalu Audio Art w 1993 r.

4. Automatyczny akompaniament - symultaniczne czytanie partytur Model uyty po raz pierwszy w systemie Synthetic Performer 8Barry Vercoe (IRCAM 1984) i prezentowany podczas Konferencji Muzyki Komputerowej w Paryu w 1984 r. Flecista wykonywa parti fletu wybranych Sonat fletowych Haendla, komputer poda za wykonawc realizujc parti klawesynu. System zawiera modu Learn umoliwiajcy rozpoznawanie niuansw interpretacyjnych konkretnego wykonawcy poprzez cykl prb rejestrowanych przez system komputerowy. Interpretacja dotyczya w gwnej mierze zmian tempa wykonywanej partytury. Flet wyposaony zosta dodatkowo w sensory optyczne zwikszajce znacznie precyzj systemu w czasach, gdy tumaczenie dwiku akustycznego na informacje cyfrowe obciona bya sporym marginesem bdu. Roger Dannenberg w tym samym czasie uywa modelu automatycznego akompaniamentu 9. Sterowanie systemu odbywao si poprzez klawiatur MIDI i byo bardziej precyzyjnym rozwizaniem. 5. Muzyka - 1 (music minus one) - tape + organ mode Poczenie modelu klawiaturowego (organ mode) i modelu odtwarzania (tape mode), bardzo czsto stosowany w wykonaniach muzyki zarwno powanej, jak i rozrywkowej, stanowi typowy wariant poczenia syntetycznej orkiestry z solowym wykonaniem. Max Mathews zainicjowa wydanie klasycznych koncertw instrumentalnych bez partii solowej do domowego wykonania z orkiestr odtwarzan z pyty. 6. Odtwarzacz (tape mode, player mode) Ten model stosowany od pocztku istnienia muzyki na tam, wykonywanej podczas koncertw poprzez uruchomienie odtwarzania magnetofonu, odtwarzacza plikw audio w systemie komputerowym. Gest wykonawcy ogranicza si wycznie do pocztkowego uruchomienia wczeniej skomponowanej partii tamy, pliku dwikowego poprzez jednokrotne nacinicie przycisku start/play/enter. Historycznym odtwarzaczem muzyki bya katarynka, pozytywka, czy te pianola stosujce mechaniczny zapis muzyki na waku metalowym.

8 9

www.youtube.com/watch?v=vOYky8MmrEU http://portal.acm.org/citation.cfm?id=199288.192515

12

Sterowanie na ywo odtwarzan tam z zapisan muzyk podczas wykonania koncertowego dotyczy gwnie korekcji gonoci i dystrybucji dwiku w wielokanaowym systemie audio.

13

IV. Formy sztuki interaktywnej

1. Performance (Wysyg, dark&lightZone, lighting, Doubles) Zakada uycie interaktywnych systemw do tworzenia kompozycji audiowizualnych przeznaczonych do wykonania koncertowego, performance, happeningu, sztuki akcji, projektu audiowizualnego. 10

Marek Chooniewski - WYSYG (1989)

2. Instalacja
Instalacja interaktywna przeznaczona jest do ekspozycji w galerii, przestrzeni otwartej i cybernetycznej, take poszerzona o urzdzenia VR (Virtual Reality) lub bezporednio w sieci internetowej, dostpna za pomoc wydzielonych i specjalnie zaprogramowanych kontrolerw. Instalacja interaktywna przyjmuje czstokro form sztuki wizualnej w stanie zawieszenia, bezruchu, lub zaptlonego automatu dwikowego lub audiowizualnego. Instalacja dwikowa jest rozwiniciem wczeniejszej formy instalacji i jako taka wypenia przestrze, w ktrej jest ekiponowana eksponowana i wchodzi z ni w nowe relacje. Instalacja dwikowa z elementami interakcji pojawia si te jako specyficzna forma megainstrumentu, dostpnego dla publicznoci
10

WYSYG - What You See You Get na wiato i komputer (1989) Wysyg jest now form audiowizualnego performance wykorzystujcego system dyrygowania wiatem. Zmiany wiata, uzyskiwane z ruchu lampy trzymanej w rce odbierane s przez system sensorw optycznych umocowanych do gowy wykonawcy. Kady z nich steruje niezalenie wybranym parametrem wstpnie przygotowanej partytury zapisanej w pamici komputera. System dziaa w nastpujcy sposb: 1. wzgldny czas trwania pojedynczych i zoonych struktur dwikowych zaley od czstotliwoci otwierania ust 2. instrumentacja i przetworzenia dwiku zale od wielkoci wiata padajcego na sensor umieszczony na szyi wykonawcy 3. projekcja przestrzenna dwiku zaley od wiata dochodzcego do sensorw umieszczonych przy uszach wykonawcy Kompozycja Wysyg wykorzystuje dwie abstrakcyjne energie - wiato i dwik. Figury wietlne s bezporednio tumaczone na frazy muzyczne. Dosownie, to co widzisz jest tym co syszysz (what you see you get).

14

lub wybranych jej przedstawicieli. Czstokro instalacja uywana jest do koncertw i performancew zmieniajc okresowo swoj funkcj czasow podczas wielodniowej ekspozycji.

Marek Chlanda.Marek Chooniewski - Uszy, oczy, nos - instalacja interaktywna (1988) National Gallery Haga 1989

Jan Pieniek - Obiekt S Festiwal Audio Art w Krakowie 1997

15

3. Gra interaktywna (Small fish, Soundrop) Czstokro stanowi poszerzenie formy instalacji, dawniej prezentowana podczas warsztatw, dystrybucji CD-ROM, obecnie dostpna w formie przygotowanej prezentacji wyzwalanej poprzez zestaw czujnikw, mikrofonw, padw, kamer etc.

Soundrop - muzyczna gra interaktywna

4. Partytura interaktywna - muzyka algorytmiczna (Passage) Podczas wykonania koncertowego kompozycji Passage (2001) generowane s partytury do ich natychmiastowego wykonania bez moliwoci wczeniejszego przygotowania (avista). W kompozycji Passage zestaw czujnikw przymocowanych do pustych pulpitw zamienia ruchy rk wykonawcw na materia nutowy powstajcej na ywo partytury.

Idea

16

W kompozycji Passage wybr materiau dwikowego opiera si na wstpnym przygotowaniu okrelonych sposobw selekcji (algorytmw), ktre w istocie pozbawiaj twrc (w pozytywnym tego sowa znaczeniu) moliwoci podejmowania indywidualnych decyzji w odniesieniu do poszczeglnych parametrw dziea muzycznego. Wybr wynika zatem z metody, ktra, stosowana ze cis konsekwencj, tworzy okrelone struktury dwikowe. W ten sposb twrca wyzwala si czciowo od wasnych indywidualnych preferencji; wkracza w obszar eksperymentu, ktry w przypadku kompozycji Passage zosta poddany cisej kontroli. Kompozycja jest sum dowiadcze z wieloletniej pracy nad komputerowymi kompozycjami algorytmicznymi, w ktrych zniesiony zosta podzia na muzyk instrumentaln i komputerow, zniesione zostay rwnie granice stylistyczne i materiaowe w odniesieniu do podstawowych elementw dziea muzycznego. Forma utworu Kompozycja skada si z czterech czci: I. Wstp, II. Teatr Gestw, III. Partytura, IV. Film. Pierwsze dwie czci to performance, w ktrych muzycy poprzez akcje parateatralne steruj muzycznym systemem komputerowym, tworzcym na ywo wielopaszczyznow struktur dwikow. Kady z muzykw realizuje niezalen parti. System komputerowy tworzy rwnoczenie partytur, stanowic podstawowy materia nutowy do wykonania III i IV czci utworu. Muzycy wykonuj partie instrumentalne pojawiajce si przed nimi na ekranie zawieszonym nad scen. Dodatkowo ruch instrumentw i zmiana pozycji muzykw w III czci wpywa na przetwarzanie dwikw instrumentw akustycznych. Ostatnia, IV cz utworu przyjmuje form audiowizualnego spektaklu, gdzie do interaktywnej transformacji dwikw instrumentalnych doczona zostaje projekcja filmowa (animacja komputerowa), sterowana przez ruch muzykw i ich gesty. Obsada Passage w swej oryginalnej formie wykonuje oktet skadajcy si z dwch kwartetw: dtego drewnianego (flet, obj, klarnet i fagot) i smyczkowego (skrzypce, altwka, wiolonczela i kontrabas). Poniewa wszyscy muzycy s rwnoczenie performerami, wykonujcymi specyficzny teatr gestw, ich fizyczne powizanie z instrumentami, moliwo ruchu wraz z instrumentem jest jednym z podstawowych zaoe technicznych realizowanego utworu. Obsada zmieniaa si wielokrotnie od wykonania solowego po zespoy skadajce si z instrumentw etnicznych i wasnej konstrukcji. A vista Przejcie (Passage) z II do III czci utworu zwizane jest z powanym problemem natury technicznej. Materia w postaci tradycyjnie skomponowanej partytury pojawia si na ekranie po raz pierwszy podczas wykonywania utworu. Kompozycja jest poliwersyjna. Materia komponuje si za kadym razem w nieco inny sposb. Muzycy wykonuj zatem III i IV cz a vista. Przyblione wykonanie graficznej partytury gestu jest temperowane i uredniane rytmicznie przez interaktywny system komputerowy. Koncepcja utworu wyklucza wczeniejsze przygotowanie indywidualnych partii przez poszczeglnych muzykw. Wykonanie odbywa si z pomoc dyrygenta lub systemu suchawek z impulsem metronomu przekazywanym z komputera indywidualnie do kadego z muzykw (zasada ta bya wielokrotnie stosowana w utworze Like Breathing). Gest Wyjciowym materiaem rdowym dla kompozycji Passage jest gest, ktry przyjmuje dwie podstawowe formy: - figur geometrycznych, - ekspresji muzycznych.

17

Gest wykonany bliej (wyej) rda wiata (high) oznacza wysz warto - dwik wyszy. Gest bliej podogi, oddalony od rda wiata (low) oznacza warto nisz - dwik niszy. Interaktywny optyczny system komputerowy reaguje na zmian pooenia rki oraz na jej pozycj. Do realizacji utworu zaprojektowano patch w systemie Max/MSP, ktry zamienia gesty wykonawcw na strumie danych przekazywany do programu notacji muzycznej Finale. Do tego celu mona zreszt zastosowa dowolny program notacyjny.

5. Instalacja miejska (GPS-Art)

Strategie mapowania przestrzeni miejskiej i sterowania nagraniami dwikw i obrazu ulic miast przez samochd wyposaony w interaktywny system GPS. GPS-Art to nowa dziedzina dziaa artystycznych opartych na ruchu w otwartej przestrzeni. GPS-Art to globalny instrumnt interaktywny sucy do tworzenia i przetwarzania materiau dwikowego i wizualnego, czy w sobie elementy instalacji dwikowej i wizualnej tworzc nowe fromy przekazu. Projekt obejmuje dziaania w gigantycznych skalach plenerowych i urbanistycznych. Moe by realizowany na ziemi, powietrzu, pod wod, a take w przetsrzenii kosmicznej. Wszystkie projektu GPS-Art tworzone s z wykorzystaniem urzdzenia GPS-12 (Global Positioning System) firmy Garmin, z bezprzewodowymi odbiornikami Bluetooth, a take z wykorzystaniem telefonii komrkowej. GPS-12 okrela swe pooenie na podstawie pozycji 12 satelitw zawieszonych nad pnocn pkul Ziemi. GPS-12 stosowany jest w nawigacji i okrelna interaktywnie wiele parametrw topograficznych, m.in. pooenie geograficzne (w sklali od 10m do tysicy kilometrw), wysoko nad poziomem morza, prdko i wiele innych. Pomiary stanowi punkt wyjcia dla wielu rnych dziaa artystycznych. W latach 2000 2007 koncepcja dztuki GPS-Art realizowana bya poprzez seri manewrw artystycznych GPS-Trans 1 8. GPS-Trans to transmisja w czasie i przestrzenii. Wczeniej nagrywany, montowany i przetwarzany materia audio, foto i wideo sterowany jest na ywo poprzez zestaw synchronizowanych ze sob urzdze: GPS, telefonw komrkowych, szeregu systemw komputerowych penicych funkcj serwerw, odbiornikw i stacji przesyowych i nadawczych. GPS-Trans realizowany jest rwnoczenie w otwartej przestrzenii miejskiej (arenie), skanowanej przez anonimowy samochd-nadajnik z zainstalowanym systemem GPS, bdcy gwnym wykonawc kompozycji audiowizualnej/happeningu oraz dwch przestrzeniach publicznych, w ktrych znajduj si odbiorcy tego dziaania. Podstawow przestrzeni odbioru dziaania w latach 2000 2004 bya globalna sie Internetowa z doczon do niej galeri Bunkier Sztuki w Krakowie. Od 2005 roku gwn przestrzeni odbioru dziaania GPS-Trans stanowi galeria sztuki:Galeria Krzysztofory i Bunkier Sztuki w Krakowie, w Warszawie w Zamek Ujazdowski, a w Chicago galeria Deadthech. Samochd w projekcie peni w projekcie funkcj wykonawcy grajcego na instrumencie, ktrym jest cae miasto z wyselekcjonowanymi sektorami, dzielnicami. Mapa miasta stanowi rodzaj partytury i gigasamplera rwnoczenie. Pardziesit sektorw miasta (w Krakowie 63, a w Chicago 83) reprezentowanych jest w postaci nagranych wczeniej sekwencji naturalnych dwikw otoczenia, gosw ludzi i zwierzt naturalnych szumw miejskich, przejedajcych samochodw, odgosw najbardziej charakterystycznych dla wybranych dzielnic miasta, a od GPS-Trans 4 simultaniczne nagrania wideo. Pierwszy projekt GPS-Trans 1 wykonany zosta w grudniu 2000 roku w postaci czterech blokw 3-godzinnych, w sumie 12 godzin jako poczenie transmisji odgosw miasta, przetwarzanych i transmitowanych na ywo przez Internet. By modelem prywatnego radia internetowego. Dwiki cisego centrum Krakowa wok Rynku transmitowane byy poprzez 16 telefonw

18

komrkowych miksowanych na ywo poprzez poczenie konferencyjne. Dwiki poddawane byy przetworzeniom i wysyane poprzez indywidualny kana audio do Internetu i odbierane z ok. 14 sekundowym opnieniem. Opnienie sygnau audio przesyanego przez Internet, stanowicego w tamtych czasach powany problem techniczny, potraktowano jako walor i wykorzystano do uruchomienia nowatorskiego procesu artystycznego Internet Delay. Zaptlenie sygnau audio poprzez kontrolowane na ywo sprzenie zwrotne (feedback) wykorzystano do utworzenia innego procesu przetworzenia dwiku Internet Wave. GPS-Trans 2 by penym poczeniem technologii komrkowej, GPS, oraz zainicjowanego wczeniej wykorzystania Internetu jako procesora przetwarzania sygnau audio. Najwanejszym jednak elementem byo potraktowanie miasta jako gigasamplera z poruszajcym si samochodem, penicym rol wykonawcy/nadajnika przesyajcego koordynaty, wykorzystywane jako zmienne w tworzeniu na ywo kompozycji muzycznej i audiowizualnej. Byo take traktowane jako forma przewodnika po miecie, nazwane z tego powodu: dwikow map miasta Krakowa. Specjalnie w tym celu utworzony algorytm w programie Max/MSP traktowa przestrze urbanistyczn jako 3-wymiarow struktur porwnywaln do gigantycznego namiotu rozwieszonego nad miastem. Samochd poryuszajcy si po arenie posiada maszt wirtualny, wyznaczajcy poziom gonoci materiau audio z obszaru, w ktrym si znajdowa. Samochw/nadajnik sygnau GPS odtwarza/wykonywa wczeniej nagrane dwiki z maksymalnym poziomem gonoci, podczas gdy dwiki rejonw ssiadujcych odtwarzane byy z nisz gonoci. Rejony miasta najdalej pooone od miejsca przejazdu samochodu odtwarzane byy najciszej. Cay proces wykonywany by na ywo z zaoeniem, e cay materia audio przesyany jest rwnoczenie, ale syszymy gwnie dwiki rejonu miasta, przez ktry samochd przejeda. Algorytm realizujcy te zaoenia by procesem dynamicznie zmieniajcym wiele koordynatw rnwoczenie realizowanym poprzez specjalnie dedykowane urzdzenia komputerowe. Podczas realizacji projektu GPS-Trans 2 uyto 7 niezalenych systemw komputerowych. GPS-Trans 3 do dwikw miasta doczy seri zdj, ktrych odtwarzanie odbywao si na zasadzie fotoplastikonu, przy czym szybko ogldanych w Internecie zdj sterowana bya na ywo przez szybko samochodu/nadajnika/wykonawcy. Zatrzymanie samochodu w dowolonym miejscu powodowao zatrzymanie procesu odtwarzania zdj. GPS-Trans 3 stanowi audiowizualn map miasta Krakowa. Pierwsze trzy projektu GPS-Trans 1 3 emitowany by gwnie w Internecie, i wybranej przestrzeni publicznej, miejskiej galerii Bunkier Sztuki w Krakowie. Bardzo wanym elementem wszystkich projektw internetowych jest ich dostpno. Wczenie dziaa GPS-Art do okrelonych dziaa medialnych od pocztku istnienia projektu byo jednym z nadrznych zada. GPS-Trans 1 by czci projektu caf 9, a take czci ekspozycji dotyczcej nowych mediw w Bunkrze Sztuki w Krakowie. GPS-Trans 2 emitowany by poprzez czesk rozgoni internetow Radio Jeleni. GPS-Trans 3 by jednym z trzech europejskich projektw bdcych czci midzykontynentalnego projektu internetowego Williama Duckwortha Cathedral11 transmitowanego przez serwer Akamai. Ogldalno projektu mierzona bya w dziesitkach tysicy odbiorcw. GPS-Trans 4 5 zmieni priorytet odbioru ze wskazaniem na okrelon, zamknit przestrze publiczn (Galeria Krzysztofory, Bunkier Sztuki, Zamek Ujazdowski, Deadtech) z towarzyszc tym dziaaniom transmisj internetow. Do GPS-Trans 4 zrealizowanego w Galerii Krzysztofory w Krakowie 30 czerwca 2003 roku doczono nowy element jakim by obraz wideo. W samochodzie zostay umieszczone 4 kamery cyfrowe filmujce odpowiedznio: przd, ty oraz lew i praw stron ulic miasta, przez ktre przejeda samochd wedug cile okrelnego planu. Tak nagrany materia wideo i audio zosta nastpnie wprowadzony do czterech komputerw z podczonymi do nich czterema
11

www.monroestreet.com/Cathedral

19

projektorami wywietlajcymi nagrane wczeniej filmy na cztery ekrany tworzce czworobok w Galerii Krzysztofory w Krakowie. Materia audio wykorzystywany by do przetworze na ywo i miksowany by z muzyk wykonywan przez zesp Improvisers Ensemble tworzcych muzyk do dwikw miasta. Odtwarzanie wczeniej nagranego materiau wideo i audio odbywao si na ywo poprzez ruch samochodu po ulicach wczeniej nagranych przez cztery zsynchronizowane ze sob kamery. Tym razem samochd wyposaony by w system GPS transmitujcy koordynaty pooenia i szybkoci samochodu poruszajcego si po miecie. A wic transmisja w czasie i przetsrzenii. Publiczno poprzez wejcie w przestrze pomidzy i na zewntrz czterech ekranw staa si ywym i aktywnym uczestnikiem procesu audiowizualnej transmisji ulic miasta Krakowa. Bya czci ruchu samochodu sterujcego na ywo odtwarzanie materiau audiowizualnego z przeszoci sterowanego w teraniejszoci. Na podobnych zasadach zosta przygotowany i wykonany projekt GPS-Trans 6 w Zamku Ujazdowskim w Warszawie w grudniu ubiegego roku podczas kolejnej edycji warszawskiego Festiwalu Audio Art. GPS-Trans 5 zrealizowany w galerii Bunkier Sztuki 16 stycznia 2005 roku opiera si m.in na ywej transmisji audio i wideo ulic miasta Luksemburg (Marcin Wierzbicki), ktre stanowiy dynamiczn partytur dla 9-osobowego midzynarodowego zespou improwizujcych muzykw w skadzie: Marek Chooniewski, Tomek Chooniewski, Krzysztof Iwanicki, Rafa Mazur, Tomek Nazarewicz, Keir Neuringer, Sasha Pecaric, Gilad Roth, ukasz Szaankiewicz. GPS-Trans 6 wykonany zosta po raz pierwszy poza Krakowem w Centrum Sztuki Wspczesnej, Zamek Ujazdowski w Warszawie. Nagrane symultanicznie ulice stolicy stanowiy podstawowy materia operacji audioziwualnych podczas warszawskiej edycji festiwalu Audio Art Przestrzenie Dwiku. Projekt zrealizowa 8 grudnia 2005 roku 4-osobowy zesp w skadzie: Marek Chooniewski, Marcin Wierzbicki, Maciej Walczak i Jan Chooniewski. Kolejna realizacja to GPS-Trans 7 w Deadtech Gallery w Chicago 6 kwietnia 2007 roku. Jedno z najwikszych miast amerykaskich zostao podzielone na 83 sektory, nagrane setki struktur dwikowych oraz wiele godzin wideo rejestrujc centrum miasta na zachd od jeziora Michigan. Podczas jazdy samochodem z zainstalowanym systemem GPS poczwrna projekcja wideostanowia ruchom partytur dla 5-osobowego zespou muzykw pod kierunkiem Ryana Igebritsena, koordynatora projektu. Podczas GPS-Trans 8 w Krakowie 7 maja 2007 roku wykonano po raz pierwszy synchronizacj 4 miast, ktre wczeniej bray udzia w realizacji dziaa GPS-Art. W realizacji projektu bra udzia zesp Improvising Artists. Poczono na 4 ekranach projekcje z Krakowa, Warszawy, Luksemburga i Chicago. W przygotowaniach i realizacji wikszoci projektw GPS-Trans wziy udzia 4 osoby: Marek Chooniewski, Marcin Wierzbicki, Jan Chooniewski i Ryan Ingebritsen. W 2009 roku zrealizowano dwie kolejne edycje projektu. 22 marca w ramach midzynarodowych warsztatw COOP w Centrum Sztuki Solvay w Krakowie odbya si kolejna odsona projektu GPS-Trans 9. Miesic pniej dziaania sztuki sieciowej z wykorzystaniem technologii GPS powizano z festiwalem Multiplace koordynowanym w Bratysawie. Obrazy i dwiki Bratysawy, Krakowa i Berlina nakaday si wzajemnie na mapy tych aglomeracji tworzc niezwykle zrnicowany pejza dwikowy naoony na wyrafinowan struktur obrazu wideo rejestrowan we wszystkich miastach biorcych udzia w projekcie GPS-Trans 10. Translokacja poprzez multiple mapping to jedna z metod tworzenia kompleksowych struktur audiowizualnych koordynowanych na ywo przez samochd przemierzajcy ulice miasta. W chwili obecnej trwaj ostatnie przygotowania przed premierowym projektem Derive - GPSTrans 11 w Pecs, europejskiej stolicy kultury. Komppozycja zamwiona przez European Bridges Ensemble zostanie przez ten zesp wraz z kompozytorem i Marcinem Wierzbickim wykonana 10 grudnia w hallu Uniwersytetu w Pecs. Ostatni odson projektu by GPS-Trans 12 we Wrocawiu wykonany podczas ostatniej edycji festiwalu Musica Electronica Nova. Samochd poruszajcy si po ulicach Wrocawia sterowa

20

przetworzeniami obrazu wraz z kwartetem improwizujcych muzykw w klubie Puzzle. Spektakl zloony by z dwch czci, z wykorzystaniem materiau dokonanego w cigu dnia, oraz w nocy poprzedzajcej wykonanie projektu. Szczegy na temat wszystkich projektw GPS-Art dostpne na stronie www.gps.art.pl.

6. Interaktywna sztuka sieciowa

jest przeniesieniem terenu dziaa interaktywnych z realnie istniejcych pomieszcze do wirtualnej przestrzeni cybernetycznej, w ktrej formy wizualne symuluj obiekty, pomieszczenia i tereny otwarte, jak rwnie odnosz si do nierealnych form wizualnych poddanych nowym prawom i regulacjom (Second Life). Projektowanie form sztuki sieciowej stanowi analogi do wiata gier komputerowych, a take daje moliwo sieciowego wspdziaania wielu wykonawcw znajdujcych si w rnych miejscach na wiecie. Tak skonstruowan jest aplikacja Magic Piano firmy Smule. Wczajc tryb duet mamy moliwo wspdziaania z anonimow osob poczon z nami na ywo i rwnoczesnej gry na 2 wirtualnych fortepianach w duecie w dwch rnych miejscach na wiecie.

Magic Piano (Smule) iPad

V. Technologie interaktywne
1. Instrument, kontroler
Cz fizyczna instrumentu, panel urzdzenia, sensor, czujnik, rdo, wejcie... Ta cz systemu interaktywnego jest bezporednio powizana z gestem wykonawcy. Te dwa elementy gest i kontroler wpywaj na siebie, zarwno w fazie projektowania, jak i wykorzystywania okrelonych parametrw urzdzenia. Naley je traktowa cznie. Jednak ich opis, zasada dziaania powizane s z rnymi dziedzinami i w wielu przypadkach s powizane z rnymi tradycjami. To jeden z waniejszych dziedzin integracji sztuki z technologi. Obecnie stanowi najwaniejsz cz dziaalnoci wielu laboratoriw, studiw projektowych, instytutw badawczych. Instrument w swej elektroakustycznej formie rozpad si ju w latach 50-tych na dwie niezalene czci: akustyczn i fizyczn. W klasycznym i analogowym studio elektroakustycznym (lata 50te do koca 70-tych), wspczesnym systemie komputerowym (od lat 80-tych) instrument istnieje gwnie w formie czysto akustycznej. Jest nagraniem, prbk i plikiem dwikowym o rnym poziomie zoonoci. Nagranie instrumentu moe bowiem dotyczy pojedynczego dwiku, motywu, jak i duszej frazy, okrelanej zazwyczaj jako zdarzenie dwikowe. Rozpad jednolitej struktury estetycznej i stylistycznej instrumentu na 2 niezalene, na nowo integrowane czci jest procesem charakterystycznym dla muzyki kreowanej z pomoc urzdze i procesw technologii elektroakustycznej i cyfrowej II poowy XX wieku. W chwili obecnej proces ten zwizany jest z istnieniem wikszej iloci warstw, w ktrych samo podstawowe nagranie

21

dwiku stanowi punkt wyjcia dla bardziej zoonych manipulacji barwowych i przestrzennych. W rozbudowanych systemach komputerowych przyjmuj one posta wtyczek programowych, znakomicie nadajcych si do niezalenego i symultanicznego sterowania, bdcego skadow wielowarstwowej interakcji. Drug cz instrumentu stanowi jego fizyczna cz, ktra przyjmuje obecnie rne formy kontrolerw, od bardzo typowych instrumentalnych ekwiwalentw tradycyjnych klawiatur, przez zestawy mikrofonw, czujnikw wiata i sensorw ruchu po stosowane w nawigacji systemy GPS. a. kontroler - instrument. Fizyczna cz instrumentu tradycyjnego przyjmuje form kontrolera instrumentalnego posiadajcego wikszo najwaniejszych elementw jak klawisze, klapki, membrany, sztabki, ustniki, struny, Przez to kontrolery instrumentalne wykorzystuj umiejtno gry na tradycyjnym instrumencie, Kontroler w formie tradycyjnego instrumentu umoliwia stosowanie naturalnych technik instrumentalnych pozwalajc na wirtuozowskie traktowanie wykorzystanie interaktywnego systemu komputerowego na wzr gry na instrumencie tradycyjnym. Najczciej w taki przypadku stosujemy klawiatur MIDI, ktra w swoim podstawowym uyciu pozwala na wykonywaniu partii instrumentu z dowolnie wybran barw dwiku, z bogatej palety znanych dwikw instrumentalnych, dwikw syntetycznych, gosw wokalnych, odgosw przyrody, ale te efektw dwikowych, struktur industrialnych, abstrakcyjnych zdarze dwikowych. Im bardziej zoone struktury dwikowe poddawane s kontroli poprzez klawiatur tym bardziej model organowy wspomniany w III rozdziale przechodzi w model szyfrowany, gdzie pojedynczy gest wyzwala zoon struktur, zdarzenie dwikowe. Posugiwanie si klawiatur (klawiatura MIDI), kontrolerem dtym (EWI), instrumentami strunowymi bez puda rezonansowego (Zeta Violin), czy te kontrolerami perkusyjnymi umoliwia wykorzystanie naturalnych technik instrumentalnych, tym samym zwiksza atrakcyjno i moliwo wprowadzania niuansw interpretacyjnych, wyrafinowan artykulacj i ekspresj trudno dostpn na poziomie technik wykonawczych przy zastosowaniu nowych kontrolerw obsugiwanych gestem technicznym. Rwnoczenie jednak przejcie z technik instrumentalnych do globalnego sterowania wybranymi grupami parametrw w modelu szyfrowanym, dyrygenckim i automatycznego akompaniamentu jest jednak zdecydowanie bardziej wyrafinowany, otwiera moliwoci czenia i nakadania struktur, grupowego wyzwalania wczeniej przygotowanych sekwencji zdarze. b. mikrofon, w tym kontaktowy (piezzo) penicy przede wszystkim funkcj rezonansu paszczyzny i przestrzeni (One Piece of Table 12). Mikrofon akustyczny i kontaktowy dajcy separacj dwiku od rezonansu otoczenia peni te funkcje, tym samym bardzo dobrze nadaj si do specjalistycznych nagonie, ale te do punktowego odbierania drga instrumentu w okrelonym miejscu jego korpusu. Przymocowanie kilku mikrofonw kontaktowych do instrumentu stanowi punkt wyjcia do koncepcji mapowania instrumentu/obiektu dwikowego, gdzie tworzymy specyficzne terytoria na powierzchni instrumentu dla uzyskania wielopunktowego sterowania. Przy zastosowaniu wielu mikrofonw kontaktowych podczonych do interfejsu z wieloma wejciami audio jestemy w stanie utworzy system polifoniczny, wielokanaowy, gdzie wybrane pola na korpusie instrumentu traktowane s jak osobne instrumenty z bogactwem brzmieniowym nakadanym na naturalne
12

Marek Chooniewski - One Piece of Table (1999) Przeniesienie powierzchni stou na akustyczn przestrze dwikow zawieszon nad stoem poprzez bezporednie podczenie 4 mikrofonw do 4 gonikw umieszczonych na suficie w rogach pomieszczenia. Dwiki przedmiotw przesuwanych na stole, odgosy akcji wykonywanych na blacie s wzmacniane bezporednio w 4-kanaowej przestrzeni akustycznej nad wykonawcami i publicznoci. St istnieje w dwch postaciach: realnej wizualnej na pododze i wirtualnej, akustycznej na suficie. W utworze stosuj take dwiki syntetyczne wyzwalane przez pojedyncze impulsy akustyczne dziki technice Audio Time Triggering opracowanej w latach 80-tych.

22

brzmienia akustyczne instrumentu. Stosowanie mikrofonw akustycznych o specyficznej charakterystyce przestrzennej umoliwia take stosowanie ich do zastosowa interaktywnych. Umieszczenie mikrofonw typu gun shot daje moliwo dyskretnego skanowania przestrzeni wykonawczej i wprowadza moliwoci monitorowania akustycznego caej przestrzeni sceny i akustycznego mapowania wybranych sektorw. c. fotorezystor (photocell) uywany jako sensor gestu i ruchu tumaczy ruch w owietlonej przestrzeni, daje moliwo tworzenia efektu rezonansu obrazu, quadMixer Fotorezystor jest elementem, ktrego oporno ulega zmniejszeniu wraz z jego owietleniem. Wizka wiata moe ulega zmianie przez przyblianie i oddalanie rda wiata (Wysyg), przez jego zasanianie (Lighting), a take przez odbijanie (dark&lightZone). Mona take wykorzysta naturalne zmiany wielkoci wiata padajcego na fotorezystor bdcy czci instalacji interaktywnej reagujcej na zmiany pogody, czy te naturalne zmiany cyklu dobowego - dzie/noc. Waciwe uycie fotorezystora wie si przede wszystkim z doborem waciwego modelu. Podstawowa warto fotorezystora to jego oporno. Stosujemy fotorezystory zarwno o niskiej jak i wysokiej opornoci. Fotorezystor dziaa jako cz systemu elektronicznego i jego funkcja moe albo zastpowa fizycznie wystpujce w ukadzie potencjometry (MCOS), lub te by oryginalnie zaprojektowana i podczona do specjalistycznego interface (Arduino). d. akcelerometer, yroskop jest czujnikiem ruchu, dokonujcym pomiaru pozycji w 3 podstawowych wsprzdnych x, y, z. Pamita naley, e bardzo trudno zmiany tych wsprzdnych od siebie oddzieli. Odbir danych z tego urzdzenia musi by precyzyjnie interpretowany. Dobrym rozwizaniem jest wykorzystywanie zmian parametrw w zawonym zakresie. To rozwizanie ogranicza wprawdzie rozdzielczo ukadu. Naley rwnoczenie pamita, e fotorezystor jest elementem analogowym, a wic jego rozdzielczo jest duo wysza ni rozdzielczo cyfrowego odbiornika danych. Zawanie wic zakresu dziaania akcelerometru niekoniecznie musi wpywa na ograniczenie rzeczywistej rozdzielczoci ukadu. Wykorzystywanie poowy zakresu od rodka skali daje nam moliwo oddzielenia od siebie wsprzdnych i pojedynczego przetwarzania ruchu w odniesieniu do kadej wsprzdnej. Czujnik ruchu znajduje si w jednym z najtaszych urzdze, jakim jest Wii Remote, kontroler zaprojektowany do konsol gier komputerowych. Posiada szereg czujnikw znakomicie nadajcych si do otwartej formy kontrolera. Dane wysya poprzez bezprzewodowy port Bluetooth i moe by odbierany przez szereg programw, sucych take do konwersji protokou OSC na MIDI. Jednym z nich jest program Osculator nadajcy si do rwnoczesnego odbioru danych z kilku urzdze wyposaonych w czujnik ruchu (iPhone, iPad, iPod Touch, Wiimote).

Nintendo Wii Remote + Nunchuck

e. podczerwie (IR). ISA Harp jest instrumentem zaprojektowanym przez Petera Sycha. Oryginalnie suy jako kontroler sterujcy 16 strunami harfy MIDI. W pniejszym okresie zosta rozbudowany do 32 strun, a ostatnia wersja powikszona do ramy tanecznej otrzymaa nazw ISA-Door. W pionowej i poziomej ramie instrumentu/kontrolera umieszczonych jest 32 czujnikw podczerwieni reagujcych na przecicie promieni i tym samym wyzwalajcych impulsy sterujce wczeniem i wyczeniem dwiku w module MIDI. Typowy ukad kontrolera z podczonym do niego systemem komputerowym, w ktrym system czujnikw podczerwieni

23

peni funkcj rda impulsw reagujcych na gest konwertowanych na dwiki w module dwikowym lub systemie komputerowym. W roku 2009 podstawowe funkcje przecicia promieni podczerwieni zostay poszerzone o patch w systemie Max/MSP sucy do skanowania szybkoci ruchu w synchronizacji z pozycj obydwu rk wewntrz ramy ISA Harp. Algorytm opracowany przez Marcina Pczkowskiego posuy do realizacji interaktywnej instalacji audiowizualnej IterEter zamwionej przez Polskie Stowarzyszenie Muzyki Elektroakustycznej i po raz pierwszy prezentowanej podczas Festiwalu Warszawska Jesie w 2009 roku. Instalacja bya eksponowana w dziale muzyki klasycznej w sklepie EMPiK Megastore w Warszawie przy ul. Marszakowskiej. Instalacja prezentowana bya take na Festiwalu Audio Art w Krakowie, Festiwalu Muzyki Nowej w Katowicach w 2010 roku oraz festiwalu Musica Electronica Nova we Wrocawiu w 2011 roku. Opis instalacji dostpnej w czci flashowej na stronie www.pseme.com/itereter najlepiej oddaje charakter, form i wewntrzn struktur instalacji. f. ultradwikowa technologia stosowana jest przez Zbigniewa Karkowskiego do performancew interaktywnych w ramach performancew nieistniejcejgo ju zespou Sensorband Trio.

Zbigniew Karkowski (Festiwal Audio Art 1995)

Logos Duo z Gandawy ze swoim pionierskim projektem Holosound. Zawieszony na statywie transmiter ultradwikowy odbiera zmiany generowanego przez umieszczone na pododze trzy odbiorniki ultradwikowe. System komputerowy analizujc zmiany fali ultradwikowej w trjwymiarowej bryle pomidzy transmiterem i odbiornikami stanowi niewidzialny interaktywny system skanujcy ruch wykonawcy.

24

Logos Duo (Festiwal Audio Art 1997)

2. Interface to urzdzenie penice funkcj konwertera danych otrzymywanych z czujnikw,

sensorw, wizki wiata podczerwieni, mikrofonw i wielu innych mieszanych technologii na oglnie stosowane protokoy jak MIDI, OSC.

a.

Kontroler MIDI poszerzony o wejcia dla fotorezystorw i innych urzdze o zmiennej opornoci. Stosowany od 2001 roku przez Marka Chooniewskiego jako alternatywa dla autorskiego interfejsu skonstruowanego w 1999 roku. Na zdjciu kontroler Evolution XSession poszerzony o 17 portw bezporednio poczonych z 17 potencjometrami penicymi kontrol wybranych parametrw w rnych aplikacjach audiowizualnych.

b.

MIDI Tron 13 opracowany przez Erica Singera by jednym z pierwszych oglnie dostpnych interfejsw zaprojektowanych specjalnie do zastosowa interaktywnych. czony z systemem komputerowym za pomoc portw MIDI posiada 20 wej/wyj dowolnie programowalnych. Do interfejsu doczony jest patch w Max/MSP umoliwiajcy pen kalibracj systemu.

13

http://eroktronix.com

25

c.

Eobody14 jest konwerterem interaktywnym. W odrnieniu od MIDI Tron jest urzdzeniem kompletnym i zamknitym. Umoliwia bezporednie poczenie z komputerem za pomoc portu USB oraz MIDI. Posiada 8 gniazd wejciowych do podczenia szeregu czujnikw specjalnie kalibrowanych dla tego urzdzenia. S to czujniki optyczne, akcelerometry, czujniki grawitacji, pooenia w 3-wymiarze. atwy w obsudze, nie wymaga dodatkowej kalibracji.

d. I-CubeX 15 jest jednym z najmniejszych systemw zaprojektowanych do rnych zastosowa interaktywnych. Jednym z naczelnych zaoe firmy przy projektowaniu systemu ICubeX bya maksymalna miniaturyzacja, wyciszenie dziaania podzespow i dua odporno na zmienne warunki otoczenia. Idealnie nadaje si do umieszczenia z trudno dostpnych miejscach, jako cz kostiumw interaktywnych.

14 15

www.eowave.com/products.php?prod=39 http://infusionsystems.com

26

e.

16 Arduino jest obecnie najczciej stosowanym interfejsem do zastosowa interaktywnych. Produkowany od lat wytworzy spor rodzin urzdze elektronicznych z bardzo okrelonymi parametrami do rnych zastosowa. Arduino jest otwartym systemem sprztowym umoliwiajcych implementacj gotowych prostych aplikacji obsugi czujnikw podczanych do wej i wyj analogowych oraz cyfrowych. Moe by instalowany przewodowo lub bezprzewodowo. Jego miniaturowa wersja znakomicie nadaje si do projektowania kostiumw interaktywnych. Jest bardzo konkurencyjny dla innych rozwiza ze wzgldu na relatywnie nisk cen.

16

www.arduino.cc

27

VI. Algorytmy interaktywne

Powstaj od bardzo dawna. Jednym z najstarszych systemw szczeglnie rozwijanych do celw interaktywnych jest program, jzyk programowania obiektowego Max/MSP 17. Darmow alternatyw jest system PureData18. Trzecim powanym darmowym konkurentem dostpnym na podstawowe platformy jest SuperCollider 19. Algorytmy interaktywnoci powstaj jednak niezalenie od stosowanych systemw oprogramowania i dotycz zasadniczych formu estetycznych. Autorskie metody sterowania strukturami dwikowymi i audiowizualnymi powstaway stopniowo od poowy lat 80-tych w grupach o rnym stopniu zaawansowania: 1. klasyczne nagonienie, rewersja przestrzeni widzialnej przetworzenie, modulacja, DSP Pitch to MIDI Converter Amplitude to CC Converter 2. detekcji Audio Time Triggering (ATT) - detekcja sygnaem audio zamienia zdarzenia akustyczne na serie implusw sterujcych odtwarzaniem sekwencji cyfrowych. Premiera 1988 - komputer Yamaha CX5M - kompozycja Follow Me. (sterowanie MIDI Timing Clock) Light Time Triggering System (LTTS) - detekcja ruchem tumaczy zmiany wiata na serie instrukcji sterujcych odtwarzaniem komputerowych sekwencji dwikowych. Premiera 1989 - komputer Yamaha CX5M kompozycja Wysyg. - sterowanie MIDI Timing Clock Multi Controller Optical System (MCOS) - wielostopniowe sterowanie za pomoc wybranych kontrolerw - detektorw ruchu ControllerHierarhicAudioOpticalSystem (CHAOS) jest poczeniem systemu ATT z MCOS. Stosowany moe by w oparciu o dowolnie wybrany interfejs, z zastosowaniem rnych urzdze audio i wideo.

3. kompleksowe
MaWe 20 - MultiAplicantWaveEnvironment - Zintegrowany system interaktywny patch w systemie Max/MSP. Zaprojektowany w 2003 roku przez Marka Chooniewskiego i Marcina Wierzbickiego system przeznaczony by do pocztku do zintegrowanych procesw kompozycyjnych i wykonawczych. Rozwijany przez ostatnie 8 lat jest ciekawym rozwizaniem programu muzycznego, w ktrym wikszo procesw kompozycyjnych i wykonawczych dotyczy metod interaktywnych. MaWe jest patchem w systemie Max/MSP, dostpnym na dwch podstawowych platformach systemowych (MacOs, Windows). Przy jego pomocy skomponowano pardziesit utworw o bardzo rnej stylistyce. System MaWe jest syntez najwaniejszych elementw stosowanych w dwikowej sztuce interaktywnej. Moe by stosowany zarwno w kompozycjach muzycznych jak i instalacjach dwikowych oraz audiowizualnych (modu Movie).
17 18

www.cycling74.com http://puredata.info 19 http://supercollider.sourceforge.net 20 www.mawesys.com

28

W modularnej strukturze systemu MaWe klawiatura komputera peni funkcj podstawowego kontrolera. Moe by rwnoczenie dublowana przez klawiaur MIDI, Pitch to MIDI Converter, zewntrzny modu Amp_to_CC tumaczcy gono dwiku na informacje CC. Wan czci systemu jest zestaw wtyczek programowych dostpnych poprzez Plug-ins Manager zawierajcy 16 wej dla zestawu oryginalnych algorytmw DSP oraz dajcy moliwo podczenia wtyczek w formacie VST, ktre mog by uywane zarwno w formie wirtualnych instrumentw jak i procesorw. Wszystkie zmienne systemu mog by sterowane przez zewntrzne kontrolery dziki programowalnym moduom: MIDI Module, Action Manager, Polycontroller Engine i Snapshot Manager. System jest uywany od lat zarwno do tworzenia i wykonywania kompozycji muzycznych, projektw audiowizualnych jak i instalacji interaktywnych, dwikowych i wizualnych. System zosta zaprojektowany do obsugi wielokanaowej projekcji dwiku (surround). 8 wyjciowych kanaw audio moe wyznacza form przestrzennej projekcji kompozycji elektroakustycznej lub bry struktury przestrzennej interaktywnej instalacji dwikow dostpnej w jednym lub kilku niezalenych od siebie pomieszczeniach. W podobny sposb moemy zaprojektowa rozmieszczenie konstelacji czujnikw wejciowych, dajcych szczeglne moliwoci synchronizacji zdarze, impulsw dostarczanych do systemu z rnych miejsc, tworzc zintegrowany system przestrzeni interaktywnych. System MaWe zosta zaprojektowany jako wszechstronny system interaktywny. Moe by stosowany do dziaa muzycznych na ywo oraz do rejestracji i przetwarzania materiau dwikowego, do wykorzystania w dziaaniach studyjnych (np. muzyka na tam, przygotowanie cieki dwikowej do filmu, etc.). Dziki moduowi Movie moe by take uyty jako kompleksowe narzdzie do tworzenia skomponowanej lub improwizowanej cieki dwikowej do filmu. Biorc pod uwag rnorodno zastosowa oraz fakt, e program moe by uruchomiony na komputerach o rnej mocy obliczeniowej i parametrach system MaWe zosta zaprojektowany w piciu gwnych odmianach, oferujcych rny zestaw moliwoci przy rnym obcieniu procesora. Trzy z tych odmian posiadaj dodatkowo opcj 8-kanaowej projekcji dwiku. Gwnym zadaniem MaWe jest odtwarzanie i nagrywanie plikw dwikowych. Jakkolwiek MaWe oferuje szerok gam moliwoci w tej dziedzinie, poszczeglne moduy speniaj okrelone funkcje, a co za tym idzie rni si pod wzgldem obsugi i wykonywanych zada.

29

Przygotowany materia dwikowy podczas odtwarzania moe by poddawany zoonym przetworzeniom. Wybrane moduy systemu zostay zaprojektowane do specyficznych zastosowa. Modu MIDI posiada funkcj Learn do automatycznego przyporzdkowania kontrolerw i wybranych parametrw sterowania. Szczeglnie wanym w systemie MaWe jest modu Action Manager umoliwiajcy kompleksowe sterowanie wybranymi parametrami. Poczenie zmiennych obiektw graficznych do zewntrznych kontrolerw MIDI stanowi podstawow zasad tworzenia zwizkw par wybranych kontrolerw 21. Przyporzdkowanie poszczeglnych kontrolerw w rnych zakresach i kierunkach dostpny jest poprzez Polycontroller Engine. Zapis i interaktywne wyzwalanie struktur Macro dostpne jest poprzez modu Snaphot Manager.

21

W instalacji qub ISA Harp jest kontrolerem sterujcym odtwarzanie parudziesiciu plikw audio z rwnoczesn projekcj dwiku w systemie surround z zastosowaniem oryginalnego algorytmu cienia rk polegajcego na pozostawianiu brzmicych cieek w miejscach opuszczenia rk z ramy ISA Harp.

30

VII. Zastosowania wybranych projektw

interakcji

do

1. Garage (2000) interaktywny performance/instalacja, kompozycja audiowizualna na orkiestr kameraln, ograniczon publiczno, samochody i transmisj radiow. Zaoenia Orkiestra wykonuje partytur specjalnie skomponowan dla tego projektu. Muzycy znajduj si w wyciemnionym wielopoziomowym garau. Samochody poruszajce si po garau owietlaj muzykw znajdujcych si na zakrtach labiryntu wielopitrowego garau, sterujc poziomem gonoci poszczeglnych instrumentw wg podstawowej zasady wicej wiata goniejsze dwiki, mniej wiata ciszej. Sterowanie gonoci odbywa si poprzez czujniki wiata znajdujce si przed kadym muzykiem. Wykonywanie kompozycji transmitowane jest na ywo przez lokaln rozgoni radiow. Kierowcy i pasaerowie samochodw poruszajcych si po garau suchaj muzyki wykonywanej przez orkiestr poprzez radioodbiorniki w samochodach. S zarwno wspwykonawcami utworu jak i jego suchaczami. Przestrze Projekt przeznaczony jest do wykonania w wielopitrowym, wyciemnionym garau. Duych rozmiarw gara moe zastpi wielopitrow konstrukcj. cieki garau s od siebie odseparowane dla lepszej akustycznej izolacji. Caa przestrze musi by cakowicie wyciemniona. Z tego powodu podziemny gara najlepiej nadaje si do realizacji projektu. Innym rozwizaniem jest realizacja projektu w sezonie zimowym w godzinach wieczornych i nocnych. Orkiestra Zesp skada si z 12 - 16 muzykw. Dwiki instrumentw s transmitowane wycznie za pomoc mikrofonw kontaktowych. Preferowany jest zestawienie instrumentw skrzypcowych z perkusyjnymi. Muzycy znajduj si na poszczeglnych zakrtach garau. Samochody przejedajce przez kolejne poziomy, lub sektory garau owietlaj muzykw znajdujcych si na zakrtach. wiato steruje poziomem gonoci poszczeglnych instrumentw poprzez system optyczny sterujcy niezalenie gonoci sygnau akustycznego kadego instrumentu. Wszystkie linie z poszczeglnych mikrofonw przesyane s do samochodu transmisyjnego, w ktrym odbywa si miksowanie wszystkich instrumentw, Muzycy wykonuj swoje partie z suchawkami na uszach, w ktrych otrzymuj kocowy rezultat wykonywanego utworu, a take dodatkowe instrukcje dotyczce poszczeglnych wej, dynamiki, a zwaszcza tempa wykonywanego utworu. Wykonania krtkotrwae i dugotrwae Ilo samochodw wpuszczanych stopniowo do garau w pierwszej czci utworu powoduje powolne zagszczenie faktury i powstanie ogromnej zmiennoci dynamicznej pomidzy poszczeglnymi partiami. Wyjedajce z garau samochody powoduj rozrzedzenie faktury utworu. W przypadku wielogodzinnych wykona moemy wprowadzi rne stopnie zmiennoci wykonywanej wielokrotnie partytury. Niezalenie od cile zapisanego materiau muzycznego otrzymywa bdziemy zmienn dynamicznie faktur utworu. 2. Kcza (2008) wg Deluze to instalacja interaktywna obejmujca podziemne przestrzenie Centrum Sztuki Wspczesnej w Zamku Ujazdowskim w Warszawie. Projekt obejmuje liniow i rwnoczesn synchronizacj 16 (8) cieek dwikowych przebiegajcych korytarzami czcymi pomieszczenia ekspozycyjne wystawy przygotowanej przez BWA w Biaymstoku we wrzeniu/padzierniku b.r.

31

Do realizacji projektu wykorzystane bd technologie interaktywne tworzce jeden zintegrowany system dwikowy wykorzystujcy programy Max/MSP (www.cycling 74.com) oraz Main Stage (www.apple.com). Poszczeglne struktury dwikowe bd inicjowane przez publiczno w zalenoci od miejsca i szybkoci poruszania si w korytarzach i pomieszczeniach kocowych. Ilo i gsto struktur dwikowych zalee bdzie od iloci osb znajdujcych si w poszczeglnych pomieszczeniach ekspozycji. Kada sala ekspozycji dysponowa bdzie materiaem adekwatnym do tematw eksponowanych w poszczeglnych czciach ekspozycji. Ruch i bezruch odwiedzajcych wystaw wprowadza bd na ywo nawarstwienia i rozwarstwienia zoonej i cay czas zmieniajcej si kompleksowej struktury dwikowej. Puste pomieszczenia zamiera bd w bezgonej i wyciszonej strukturze zawieszonej w oczekiwaniu na kolejne osoby odwiedzajce wystaw.

VIII. Sztuka i technologia

System MaWe stanowi oryginalny przykad integracji wielu elementw, ktre w tradycyjnym modelu tworzenia kompozycji muzycznej s niedostpne. Moduowy system MaWe jest instrumentem sucym zarwno do komponowania jak i wykonywania muzyki. Linia podziau pomidzy tymi procesami jest umowna. Obydwa procesy nakadaj si na siebie i wpywaj wzajemnie na siebie, stymuluj procesy wzajemnych oddziaywa, rwnolegych i komplementarnych. Od kompozytora/wykonawcy zaley, ktry z uywanych procesw stosowany jest do jakich celw. System MaWe zosta wykorzystany w wielu profesjonalnych projektach, a take wielu pracach studenckich. Dostpny jest na stronie www.mawesys.com. MaWe jest systemem darmowym, oglnie dostpnym (Mac, Windows) zaprojektowanym take do dziaa edukacyjnych. Jest czci programu projektowania technologii muzycznej dostpnej zarwno dla wyksztaconych muzykw, jak i amatorw. O rzeczywistym potencjale muzycznych programw komputerowych decyduje ich dostpno, atwo obsugi, a co najwaniejsze szeroki zakres zastosowa artystycznych. Przegld kompozycji zrealizowanych za pomoc systemu MaWe najlepiej wiadczy o jego wysokich walorach artystycznych. czenie sztuki i technologii jest procesem cigym, naturalnie zwizanym z rozwojem cywilizacji ludzkiej. Pierwsze instrumenty muzyczne stanowi szczeglny przykad wykorzystania technologii do zaspakajania gwnych potrzeb yciowych, wrd ktrych rytualne formy obrzdowe stanowiy ich szczeglny przypadek. Rozwj technologiczny ostatnich dekad, a zwaszcza powstanie spoeczestwa informacyjnego uruchomio szereg procesw znacznie oddzielajcych nasz epok od okresw wczeniejszych. W procesie tworzenia i wykonywania muzyki koncepcja instrumentu jest szczeglnie wana. Zastosowanie technologii elektronicznej i komputerowej w tworzeniu i wykonywaniu muzyki byo jedn z zasadniczych przemian estetycznych i stylistycznych w II poowie XX wieku. Proces ten uleg ogromnemu przyspieszeniu w ostatnich latach. Zastosowanie systemw i instrumentw interaktywnych w poczeniu z typowym dla muzyki elektroakustycznej i sztuki audiowizualnej nieograniczonym bogactwem rodkw brzmieniowych i wyrazowych spowodowa powstanie nowych form interaktywnej sztuki audiowizualnej.

32