Interaccion_lux_forma

Interaccion_lux_forma

nicmotta.2017

Capítulo I: Primeras ideas

Antes de empezar el proyectual, mi obra se basaba en el low poly art “Low Poly es un técnica/estilo visual que está basado en el relativo limite bajo de polígonos que componen una imagen digital 3D (…) En los años ´90 el low poly surge como una solución a optimizar el rendimiento  y tiempos de renderizado de la imagen tridimensional, reduciendo el número de polígonos que componen la imagen en una malla 3D. (…) Hoy en día se podría decir que el uso del low poly es más una problemática de carácter de diseño visual e intención artística que una problemática en términos tecnológicos.” Martin Shibuya, 1994, http://www.proyectoidis.org. Representando retratos de personas o bandas de música, llegando a la menor cantidad de polígonos posibles sin llegar a lo abstracto y obteniendo una estética que me resulta cautivadora y en cierta medida, minimalista en la idea del mínimo uso de triángulos para simular el volumen. El polígono es una figura geométrica de forma cerrada que posee más de 3 lados, ángulos y vértices. Alguno de estas ilustraciones digitales quería llevarlas a otro formato, a un mural.Para comenzar la exploratoria tome de referencia artistas como Blu

http://www.blublu.org/

un grupo de muralistas que usando la técnica de stop motion o cuadro por cuadro, consiste en una técnica de animación la cual se va capturando una imagen por cada pequeño movimiento que se produzca que luego se compilaría en un video final.

Una primera idea era mezclar la manera que tenía Blu para mostrar sus animaciones y mezclarlo con el estilo low poly. Pero decidí postergar esta idea y continuar buscando.

Trabajar con las ilustraciones geométricas simulando una malla de polígonos que componen los cuerpos me dio pie a incursionar en el uso de la tercera dimensión en distintos softwares, esto desembocó en la creación de unos personajes modelados digitalmente. Con la idea de realizar una animación con ellos e involucrarlos en una historia, mezclándolos con un entorno. También que estos se comunicaran entre ellos con sonidos o movimientos.

Comenzó a interesarme el video mapping. Se lo define como un método de proyección sobre superficies irregulares, donde un video o contenido en 2D o 3D se adapta a la forma de la superficie. Esta herramienta que ya había manejado me atraía y me dio paso a pensar la posibilidad de que mis personajes interactúen con el entorno.

Todas estas cuestiones del video mapping, el diseño tridimensional y la geometría con elespacio y el videoarte me quedo en la mente. Me propuse a buscar referentes que trabajen con estas características, entre ellos esta Ryoji Ikeda, principal compositor electrónico y artista plástico japonés, se centra en las características esenciales del sonido y en el de las imágenes como luz, mediante la precisión matemática y la estética matemática.

La geometría, junto con el video mapping y el diseño tridimensional empezaría a cobrar fuerza la idea de proyectar sobre una superficie con estilo low poly.

Capítulo II: Proyecto

El proyecto se puede dividir en dos partes, una primera etapa donde pienso la idea y la llevo a cabo de manera física y una segunda, la cual es modificada la primera incorporando sensores y volviéndose interactiva luego de concurrir a un workshop de sensores e interfaces inalámbricas. Por lo tanto, explicare cada parte por separado.

Parte I

Como primera instancia, mi idea consiste en un diseño low poly geométrico a relieve y posteriormente proyectar sobre él utilizando la técnica de video mapping.

Esta superficie volumétrica compuesta por triángulos de cartón representando los polígonos, ubicados de manera uniforme. Se encontrarán intervenidos con videos, los cuales serán modificados sus parámetros en tiempo real, con un sonido ya procesado. Los parámetros variables son filtros como el tinte, un desenfoque, un ruido visual, un pixelado de la imagen, controlados por la amplitud de onda (tonos altos, medios y bajos).

Por lo tanto, busqué artistas que se relacionen con la edición en tiempo real, como el live cinema o los vj.

“En el presente, el live cinema viene a designar la creación simultanea de sonido e imagen en tiempo real por artistas sonoros y visuales que trabajan sobre un concepto en colaboración.” Mika Makela, La práctica del live cinema. http://media-space.org.au/journal/issues/issue1/makela/makela.html

Utilice un único software llamado Resolume Arena 5, el cual me permite editar video en tiempo real, aplicando filtros. Además, permite entrada y salida MIDI y OSC, las cuales son herramientas que permiten conectar instrumentos de manera digital y vincular computadoras a través de la red de manera inalámbrica. Asimismo, este programa es adecuado para la realización el video mapping, debido a su potencial, uso en la escena profesional y versatilidad.

Los videos utilizados son material apropiado de internet que alteré o animaciones de mi autoría basados en el modelo 3D. Siempre que lo proyectado interactúe con la forma volumétrica.

En este trabajo se hizo hincapié en la adaptación de la morfología de la imagen, propio del mapping y denotando múltiples puntos de vista de la geometría.

Parte II

El principal cambio que sufrió mi proyecto de la primera parte fue la inclusión del espectador como interactor convirtiéndose en una obra interactiva. “Las obras interactivas –para que sean consideradas como tal– implican un intercambio real de información entre los sistemas, como el humano y el digital, es decir, la posibilidad de que un elemento externo a la máquina entre a formar parte del proceso mediante la introducción de información, y pueda generar nueva información no contenida en el programa. Me gustaría poner un ejemplo de obra, en la que el público, con su actuación, es el motor de la instalación, llenándola de contenido.” Giannetti, C.; El espectador como interactor. Mitos y perspectivas de la interacción. Conferencia pronunciada en el Centro Gallego de Arte Contemporáneo de Santiago de Compostela CGAC, 23.01.2004.

Gran parte de este cambio concluyó a partir de un workshop que realicé de sensores e interfaces inalámbricas que se llevó a cabo en el Espacio Pla.

El sensor empleado para la realización de este proyecto es Kinect, un dispositivo, inicialmente pensado como un simple controlador de juego, que gracias a los componentes que lo integran: sensor de profundidad, cámara RGB, array de micrófonos y sensor de infrarrojos (emisor y receptor), es capaz de capturar el esqueleto humano, reconocerlo y posicionarlo en el plano.

Gracias a toda la información que captura este dispositivo, los desarrolladores de software pueden hacer uso de él para programar toda una serie de aplicativos cuyo activo principal es la interacción con los elementos “virtuales” a través de los distintos movimientos del cuerpo humano. Su funcionamiento consiste en reconocer los puntos del cuerpo, por ejemplo mano izquierda, mano derecho, hombros, cabeza y nos facilita tres valores que corresponden a los ejes X,Y y Z. Estos valores son tomados por el software y mediante algoritmos y funciones se utilizan como input.

“Me resulta útil ubicar el arte interactivo en un espectro que incluye a los sistemas controladores en un extremo, y a los sistemas de respuesta en otro. En los sistemas controladores, las reacciones del usuario coinciden 1 a 1 con las del sistema, y podemos mencionar a los cd roms interactivos y a algunos juegos como ejemplo. Por otro lado, en los sistemas de respuesta, las reacciones del usuario son interpretadas por el programa primero para poder producir una respuesta del sistema. Podríamos ubicar en este extremo del espectro a los trabajos de vida artificial. Este espectro es bastante impreciso y subjetivo, a la vez cambiante de acuerdo a la capacidad de manejo de la tecnología que presente el individuo, que es lo más importante.” Jim Campbell, Diálogos ilusorios: el control y las opciones en el arte interactivo.
Voy a citar un ejemplo que propone Jim Campbell en “Diálogos ilusorios: el control y las opciones en el arte interactivo.”

Algunos ejemplos: se coloca un interruptor a pedal debajo de una alfombra cerca de un monitor de video. Cuando una persona se dirija al monitor y pise la alfombra, el interruptor se cerrará y disparará una imagen y un sonido en el monitor. Si el individuo sale de la alfombra, la imagen y el sonido cesarán. Si quisiera volver  ver la imagen, sólo tendrá que pararse sobre la alfombra. Ese es el comando para iniciar la imagen. La persona no estará interactuando con el programa, sino que estará interactuando con el interruptor. No hay diálogo. Es una interfaz discreta, y al igual que un icono, el interruptor estará encendido o apagado, la imagen estará activada o desactivada. Un segundo ejemplo: se colocan 100 interruptores a pedal en fila debajo de una alfombra  para crear un detector de posición que mida la distancia entre el observador y el mismo monitor del ejemplo anterior. El sistema podrá diferenciar 100 distancias posibles de 0 a 20 pies. La imagen presentará su brillo máximo, y el sonido su volumen más alto cuando el usuario esté a 20 pies de distancia del monitor, pero al acercarse, éstos niveles irán atenuándose hasta desaparecer por completo cuando se encuentre a 1 pie de distancia. El usuario descubrirá que la posición para disfrutar de una imagen óptima, y de un sonido inteligible no van a coincidir entre sí. Es más, las posiciones óptimas variarán con cada usuario, que podrá encontrar un equilibrio entre los dos puntos, podrá priorizar uno o el otro, etc., pero lo más importante de todo esto es que el usuario basará sus acciones en lo que está escuchando y viendo, no en la posición de sus pies. Esto ilustra la diferencia fundamental entre las interfaces discretas y las continuas. En las primeras, la interacción se da entre el usuario y la interfaz, mientras que en las segundas, la interfaz ocurre  entre el usuario y la obra o el programa. Aunque la interfaz mencionada en el segundo ejemplo sea discreta por definición, ya que es una representación digital, será percibida como una interfaz continua, porque la diferencia entre los distintos puntos que elija cada usuario serán imperceptibles… aunque también queda claro que si uno mostrará la distancia con un número del 1 al 100 en la pantalla junto a la imagen, esto volvería a dar la sensación de interfaz discreta a la obra, ya que el usuario

interactuaría con el número, y sería como utilizar un potenciómetro deslizable en un programa de Mac o Windows. Las interfaces que involucran opciones discretas dejan poco lugar para la intuición. Mueven al usuario a buscar una razón lógica para elegir lo correcto, basándose en lo que se piensa que será la consecuencia de esta elección. Pero, a menos que se trate de un juego, no existen las opciones correctas. Se, por experiencia propia, que la interacción intuitiva con una interfaz sólo es posible si la misma puede comprender cualquier información (input) de su tipo. Un par de ejemplos: si la interfaz reconoce palabras, deberá contar con una comprensión razonable de todo lo que podría llegar a decírsele. Si la interfaz es un dispositivo que mide distancias, entonces deberá ser capaz de comprender las distancias en cualquier dirección que se le indique, no solamente las que sean hacia un punto fijo y derecho. Si una interfaz presenta baches en su estructura, en algún momento esto será percibido por el usuario, y la interacción entre el mismo y la obra quedará estancada. Esto hará que el usuario comience a interactuar con la interfaz en vez de con la obra o programa, igual a lo que mencioné en el ejemplo de las interfaces discretas y continuas. Una interfaz transparente es una continua que se percibe como completa en toda su estructura.”

 

Para poder controlar el sensor empecé a trabajar con TouchDesigner, un software de programación que tiene como característica el empleo de nodos y uniones entre ellos, cada nodo supone una función o grupo de funciones que se van conectando por medio de cables virtuales. Este conjunto de nodos, el cual termina siendo un gran árbol con ramificaciones que desemboca en el programa total. El TouchDesigner es un software relativamente nuevo, mezcla diferentes características de los programas de algoritmos duros y haciéndolo visualmente más amable en cuanto a su interfaz con esta idea de nodos y conexiones, tales como PureData o VVVV, softwares antecesores del mismo que utilizan la misma dinámica de programación. Es utilizado mundialmente para la generación de instalaciones audiovisuales en tiempo real y manejo de diferentes interfaces o maquinarias. Al ser un software de programación sus usos son infinitos.

“Los programas son representaciones matemáticas. Tienen que ser definidos con términos matemáticos. Esto introduce cuestiones interesantes al proceso artístico. Cuando es artista se ve forzado a transformar una idea de un concepto, emoción o una intuición en una representación lógica, algo muy difícil de lograr sin trivializar el concepto original, lo que generalmente ocurre es que las sutilezas de la obra se pierden en este proceso de reducción y transformación, por el simple hecho de tener que definirlas con una precisión matemática.” Jim Campbell, Diálogos ilusorios: el control y las opciones en el arte interactivo.

La utilización del sensor Kinect, para la composición de sonido y de la imagen proyectada mediante la posición y el movimiento de las manos, estos valores de los ejes X, Y (horizontal y vertical) controlados con TouchDesigner, se miden en valores de (-1 a 1) y se colocan en una tabla que lo divide por 7. Cada uno de estos valores corresponde a una nota de la escala musical (Do – Re – Mi – Fa – Sol – La – Si), omitiendo las notas sostenidas y bemoles (un cambio de medio todo entre ellas). Los valores que corresponden a cada una de las notas traducida a números son enviados vía MIDI a un software de audio llamado Ableton Live 9, toma cada valor (en total 4 canales, corresponden 2 a cada mano). Un canal maneja un sintetizador o instrumento diferente, esto se traduce a que cuanto más elevada esté la mano y más alejada esté del cuerpo la nota que suene sea más aguda, y cuando más bajo sea la posición más grave la nota.

Para el proyecto tome una línea de sonido más ambiental y notas largas, pero también hay un sintetizador que rompe con todo eso y resuena con un tono más brillante.

Simultáneamente con los valores de las manos se puede visualizar proyectado en el relieve la posición de las manos que corresponde a cada una de las caras del volumen.

“En el sentido más evolucionado, la interactividad invita al usuario/interactor a hacer contribuciones a la propia obra; el autor se ve pues abocado a perder el control sobre ella. (…) La interacción implica pues una tensión entre dos fuerzas: la necesidad de controlar el despliegue de la obra por parte del autor, y la libertad de explorar como quiera, incluso de modificarla, por parte del espectador/interactor.” Berenguer, X.; “El medio es el programa” en  La Ferla, J. (comp.) Artes y Medios Audiovisuales. Un estado de situación. MEACVAD _ 07.  Buenos Aires.

Capitulo III: FASE9

Durante la cursada, envié mi proyecto de obra que venía trabajo a la convocatoria FASE9, un festival de arte, ciencia y tecnología que se realizan en diferentes nodos, tales como el Centro Cultural Recoleta, Centro Cultural General San Martín, Centro Cultural de la Ciencia entre otros. El texto que mande de memoria conceptual que está a continuación simplifica y da forma a la idea de la obra, como obra interactiva y cuales son los puntos que abordo en ella.

El proyecto “interacción_lux_forma” propone un espacio de instalación, audiovisual e interactivo en el que el espectador compone música de manera intuitiva mediante sus movimientos corporales. En simultáneo, los sonidos generan visualidades que dialogan con la superficie volumétrica.

El diseño electrónico consta de un sensor (Kinect) que capta la posición de las manos, los datos son procesados algorítmicamente para producir sonido e imagen. El espectador se ve inmerso en la exploración de un espacio que funde el universo virtual con las dimensiones de la materia y el sonido.

Semanas más tarde, un mail me notificó que había quedado seleccionado para exponer en el Centro Cultural General San Martin y a partir de ahí, una cuenta regresiva comenzó.

Capitulo IV: Reflexiones personales

Mi primera inquietud sobre realizar obra tecnológica surgió cuando vi un video llamado “Box”, donde un grupo de artistas realizaron una performance de una persona interactuando con dos bastidores blancos, mapeados y movilizados por unos brazos roboticos por detrás. Este colectivo llamado “Bot & Dolly” filmaron un detrás de escena, mostrando todo el proceso, los softwares utilizados y los trucos para lograr tal ilusión óptica haciendo creer que los bastidores eran cajas o por momentos huecos y que transcurrían fenómenos dentro de ellos.

Descubrir este video significó un punto de quiebre en mi cursada que apenas había comenzado, allà por el 2013. En ese momento, decidí que mi obra tenía que ser digital, era mi medio, casi como una necesidad.

Comenzar a hacer obra interactiva como exploratoria abrió un mundo en mi cabeza, ver el arte desde otro lugar, dejar de ser simples espectadores que observan a movilizarnos para que la obra reaccione. Pensar en diferentes interfaces, como no caer en lo común y en el cliche.

Exponer en FASE9, fue un gran aprendizaje, desde los documentos y trámites que se necesitan para presentar obra, pasando por el montaje y sobre todo, como es la reacción del publico (en mi obra, interactores). Saber cuales fueron mis aciertos y cuáles mis errores con respecto al montaje, si la manera de interacción era clara y si era necesario facilitar unas instrucciones.

Bibliografia

Jim Campbell, Diálogos ilusorios: el control y las opciones en el arte interactivo.

Berenguer, X.; “El medio es el programa” en  La Ferla, J. (comp.) Artes y Medios Audiovisuales. Un estado de situación. MEACVAD _ 07.  Buenos Aires.

Berenguer, X.;  “Una década de interactivos” en La Ferla, J. (comp.) Artes y Medios Audiovisuales. Un estado de situación. MEACVAD _ 07.  Buenos Aires.

Giannetti, C.; El espectador como interactor. Mitos y perspectivas de la interacción. Conferencia pronunciada en el Centro Gallego de Arte Contemporáneo de Santiago de Compostela CGAC, 23.01.2004.

Manovich, L.;  El lenguaje de los nuevos medios de comunicación. La imagen en la era digital, Paidos, Buenos Aires, 2006.

Sardón, M., Bender, L.; Una aproximación a las obras interactivas como un sistema dinámico complejo, 2006.

Martin Shibuya, 1994, www.proyectoidis.org.

BluBlu www.blublu.org

www.ryojiikeda.com/

Mika Makela, La práctica del live cinema. http://media-space.org.au/journal/issues/issue1/makela/makela.html

Sin título-2

 

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s