Projects 2017

2017-02-04 Перформанс Рельеф Движения

Екатерина Жаринова, Наталья Бриль, Перформанс в Гуманитарном университете.

  • Запись движений вентилятора и воспроизведение, Ableton Live, два микрофона, LPD8,

  • Гранулярный синтез от колыханий ткани, Kinect 2, (в качестве источника звука – музыка Leksha)

2017-02-11 Техноночь

в Технопарке Университетский, http://www.uralhitech.ru/

На Техноночи был показ нескольких проектов, созданных преподавателем ЕАСИ Д.С.Переваловым совместно со студентами.

1) Работа Насти Киприяновой (ПИ-4) Эксперимент “Темная комната”.

В темной комнате был подвешен источник света, и каждому желающему предлагалось надеть темные очки, оснащенные датчиком света и связанным с ним вибромоторчиком. Требовалось решить задачу – найти “вслепую” в комнате расположение света, ориентируясь только на работу вибромоторчика вместо глаз.

Этот эксперимент является частью ВКР (руководитель Д.С.Перевалов), которая реализуется совместно с творческим союзом СоБытие (г. Екатеринбург), занимающееся инклюзивными технологиями в арт-перформансах.

2) Проект Марины Ширан (ПИ-4) “Полет-А”.

Полет над пространством абстрактного искусства. Проект реализован с помощью игрового движка Unreal Engine. Это часть ВКР, руководитель Д.С.Перевалов. В реализации участвовали доц. А.А.Егорова, а также студенты ЕАСИ Егор Пажунин и Татьяна Плотникова.

3) Проект Вероники Белогруд “Алмазики” (ПИ-4)

Это инсталляция, состоящая из горизонтально закрепленного компьютерного монитора и веб-камеры, закрепленной над ним.

Зрители выкладывают на экран полупрозрачные разноцветные камешки, а на экране от них разлетаются частицы.

Веронике принадлежит идея и прототипная реализация проекта, а финальный вариант реализован Д.С.Переваловым.

4) Проект Д.С.Перевалова “Светорисование”.

В этой инсталляции одному зрителю предлагается встать у стены, а другому водить по нему светом фонарика. На соседней стене от света “проявляется” изображение, подобно проявке аналоговой фотопленки, только здесь это реализовано с помощью веб-камеры и проектора.

Идея такого рисования принадлежит Татьяне Кукарцевой и Анне Воронцовой (ПИ-2).

Улан-Удэ, Тринити: https://www.instagram.com/p/BaT-wqTBZ5V/?taken-by=olgakolenchuk

New foto 😉

A post shared by Ольга Коленчук (@olgakolenchuk) on

 

5) Проект Kuflex “Эхо сэмплер” https://dhta.blog/2017/02/12/echo-sampler-musical-instrument/

6) Проект Kuflex “Атомная фотобудка”

2017-02-16 Статьи к конференции Открытый Город 2016 (ЕАСИ)

Исследовательские статьи (сбор материалов) со студентами ЕАСИ про мобильные проекции, telepresense, 3D картины и свет в танцевальных выступлениях.

1) Данчук Ю.С., Перевалов Д.С., ПРОЕКТЫ TELEPRESENSE В ОТКРЫТЫХ ПРОСТРАНСТВАХ

2) Задорина А.П., Перевалов Д.С., МОБИЛЬНЫЕ ПРОЕКЦИИ В ГОРОДСКИХ ПРОСТРАНСТВАХ

3) Мазалов П.В., Перевалов Д.С., ТАНЕЦ И СВЕТ НА ОТКРЫТЫХ ПРОСТРАНСТВАХ

4) Ширан М.В., Перевалов Д.С., ИСПОЛЬЗОВАНИЕ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ДЛЯ СОЗДАНИЯ СКУЛЬПТУРНОГО ПАБЛИК-АРТА

5) Перевалов Д.С, Кукарцева Т.А., Интерактивный паблик-арт: существующие и возможные типы взаимодействия (только презентация)

2017-02-20 Домашняя репетиция Kuflex, Стереоблины

https://www.youtube.com/watch?v=t9UQ6Uzciys

2 марта четверг Съемка репортажа “Смешанная реальность” для канала Технофак

Съёмка с Ульяной Долгиной в ЕАСИ.

Смешанная реальность – между физической и виртуальной. Добавляет к реальным объектам виртуальное цифровое изображение и получается синхронизация реального объекта с окружающим его изображением, когда вокруг реальных объектов на поверности дорисовываются его следы или другие цифровые артефакты, либо изображение на самом объекте. Сейчас осуществляется с помощью проектора, или экрана. Основное внимание уделил процессу быстрой калибровки.

  • 2D случай, дополнение реального объекта виртуальным окружением. На примере 2D-случая, когда объект можно считать плоским и он движется в плоскости. Можно осуществить обычной веб-камерой, калибровав по 4-м точкам (углы изображения)
  • Динамический мэппинг, то есть видеомэппинг на поверхность движущегося объекта. проецируется изображение с помощью проектора. Можно осуществить с помощью камеры глубины типа Kinect (использовали в репортаже Kinect2). Я рассказал про новый способ калибровки по 6 точкам: углы проекции (когда работаем у стены, это углы картинки с проектора, иначе – подставляем лист бумаги и ловим углы сетки, выдаваемой проектором), центр проекции, и еще одна точка из центра проекции, которая расположена на некотором удалении от первой (0.5-1 м). Также, для калибровки требуется знание о расстоянии от проектора до центра проекции. В процессе калибровки камера глубины считывает расстояния до всех 6 точек и по ним строит модель проектора – его расположение в пространстве. Такой метод позволяет нам за несколько минут калибровать камеруи проектор перед выступлениями. Он реализован в программе KuStar, которую мы разработали для концерта Барокко и используем в последующих работах.

2017-03-05 Перформанс Погружение с Таней Просто

ГЦСИ, 5 марта, Екатеринбург

https://www.youtube.com/watch?v=hwFYmCADlNc

https://vk.com/t_prosto_ekb

Звук в Pogr Sampler

Генерация звука осуществлялась в программе PogrSampler, написанной для этого перформанса, на openFrameworks. Программа улавливала нажатия педали на пульте APC40 (как миди устройство, с помощью аддона ofxMidi), и записывала фрагмент звука для последущей обработки.

Было 6 каналов звука. Для каждого канала программа хранила презеты обработки, и каждый записанный звук попадал на одну из этих дорожек.

Переключение презетов осуществлялось с помощью пульта Novation Launchpad Mini (8×8 квадратны кнопок в центре, и еще по периметру круглые кнопки). Имеется режим автоперехода – когда после записи звука программа переходит на следующий канал/презет.

Визуально презеты располагались по 6 штук в ряд:

1 2 3 4 5 6

7 8 9 10 11 12

41 42 43 44 45 46 47 48

Имелось 2 страницы презетов, по 6×8 странице – то есть 96 штук.

В одном стихе выделалось 3 слова.

Было три режима обработки звука:

  • Delay – просто повтор с заданной задержкой (в битах, темп был фиксированный 120 BPM)
  • Grain – гранулярный повтор (задавалась задержка повторов, начала и длительность воспроизводимого кусочка сэмпла, длительность гранулы и общая скорость воспроизведения сэмпла). Гранулярный синтез был сделан с прямоугольными гранулами, поэтому он звучал довольно резко.
  • Spectr – спектральный повтор (задавалась скорость воспроизведения, а также начало и длительность фрагмента воспроизводимого сэмпла). Реализация была сделана с помощью алгоритма фазового вокодера, то есть с помощью спектральной обработки, а именно, оконного преобразования Фурье. В фазовом вокодере где-то закралась ошибка, и он также звучал достаточно резко.

Громкость и панорама имели LFO, с задаваемым размахом и длиной цикла (в битах 120 BPM). Типы LFO:

  • const – без изменений
  • rand – случайные значения
  • up, down – вверх и вниз
  • sin, -sin, cos, -cos – гармонические колебания.

Значение LFO генерировалось в момент запуска нового сэмпла (кроме спектрального – в нем только при инициализации).

Доработки: сделать спектральный повтор с возможностью перезапуска звука. Добавить новые генераторы – гранулярный синтез волны, спектральную обработку всего сэмпла как в программе Mammut, задание огибающей громкости и фильтра для имитации реальных звуков типа биения сердца.

Также, программа высылала по OSC в Ableton данные о громкости, трех sends (реверберация, делэй, делей с фленжером), а также 8 параметров звуковой обработки каждого трека.

В проекте PogrSampler использовались следующие аддоны openFrameworks:

  • ofxAbletonLive – для связи с Ableton (аддон был расширен)

  • ofxFft – для реализации фазового вокодера

  • ofxKuTextGui – наш аддон для текстового интерфейса

  • ofxMidi – для работы с MIDI-устройствами (пульты APC40 и LPD8)

  • ofxOsc – требуется для ofxAbletonLive

Звук в Ableton

Ableton Live 9 Suite использовался как обработчик звука – он обрабатывал микрофон, посылал звук в PogrSampler, принимал звуки и обрабатывал их (см. ниже про виртуальные звуковые каналы).

В настройках проекта Ableton использовалось три канала SENDS:

  • реверберация
  • повторы (delay)
  • повторы с фазером (delay+phaser) для “разгона”

На каждом из 6 каналов стоял 3-канальный эквалайзер и эффект Sweep+Reverb. Их параметры упралялись 8-ю ручками управления на APC40.

Для обмена данными с PogrSampler в Ableton было необходимо установить плагин LiveOSC в Ableton.

Виртуальные звуковые каналы

Для обмена звуком между oF и Ableton – требовалось 18 каналов. Ниже рассказывается, как это было сделано на OSX.

  • 1,2 Внешняя звуковая карта Scarlett – 2 входа/2 выхода. Вход с микрофона FocusRite 2×2 Scarlett обрабатывался Ableton и выдавался в выход, а также в каналы 3,4.
  • 3,4 Результат предобработки микрофона в Ableton
  • 5,6 Первый трек
  • 7,8
  • 9,10
  • 11,12
  • 13,14
  • 15,16
  • 17,18

Для организации этого купил сначала LoopBack 99$, OSX – но оказалось, что дает треск при большом числе каналов и при работе с Pogr.

В итоге, использовал бесплатную программу SoundFlower.

На звуковой карте было создано агрегатное звуковое устройство из Scarlett и Sound Flower 64 канала, с помощью встроенной в OSX программы Audio MIDI Setup.

Особенности:

  • По какой-то причине, каналы 3,4 не работали – поэтому в PogrSampler посылался сырой звук микрофона (канал 1).
  • После кажого подключения внешней звуковой карты FocusRite приходилось выключать и снова включать устройства в настройках агрегатного звукового устройства.

Визуализация

Использовалось два проектора – подвешенный к потолку для освещения стены, и установленный на полу для освещения ткани натягиваемой во второй части перформанса (белая мелкая стретч-сетка 6×6 метров, сшитая из 1.5-метровых полос).

Для надежности каждый проектор управлялся отдельным компьютером.

Программы, работающие на компьютере для основного проектора:

  • KuStar – получение данных с Kinect 2, вычислеие маски человека, отправка маски на KuPlay
  • Kuplay – рендеринг данных в виде “дыма” от маски человека на сцене
  • Transcode – захват звука с микрофона (встроенного) и генерация изображения транскодинга
  • VDMX – сбор видео каналов с KuPlay и Transcode, воспроизведение предзаготовленны наложение эффектов, вывод на проектор. Управление осуществлялось пультом Akai LPD8.

На компьютере, выдающем изображение на ткань, использовался VDMX, который выдавал изображение заранее подготовленного видео.

Особенности: во время выступления KuStar несколько раз прекратил работу (перестали приходить данные с кинекта). Поэтому, приходилось его перезагружать. Связываю это с тем, что KuStar и VDMX требовали для работы много ресурсов видеокарты, которых не хватало.

Подготовка футажей

Для снижения нагрузки на рендер и упрощения управления, я отсчитал около часа футажей по 2-3 минуты для главного проектора. (А 15 минутное видео для ткани – использовалось из Погружения 2014 года.)

Для футажей использовалась программа Kusmos – это 4-канальный видеосинтезатор, который мы разработали в 2015 году для визуализации премьеры концерта группы СБПЧ “Здесь и сейчас”.

Синтезатор работает с тремя типами объектов:

  • 3D-модели в виде OBJ-файла
  • генератор движущегося облака точек (для имитации звезд, полета через космическое прогстранство)
  • данные с кинект

Синтезатор позволяет независимо управлять четырьмя объектами, путем настройки следующих параметров:

  • перемещать, вращать, менять размер объектов,

  • настраивать режим показа (точки, линии, треугольники),

  • менять число показываемых элементов (для прореживания с возникновением “дырок”),

  • выбирать текстуру, сдвигать текстурные координаты,

  • накладывать шум Перлина (по трем координатам, либо радиальный от центра объекта).

Управление осуществляется через OSC (обычно из программы VDMX)

Результат посылается по 4-м каналам Syphon (обычно в VDMX, где он микшируется и посылается на проектор или экран).

Данные с кинектов приходят по сети, до 4-х кинектов (кинекты расположены у сцены, а компьютер-рендер за сценой, поэтому кинекты подключались к компьютерам, которые передавали данные по сети в рендер)

2017-03-06 ВВеренице в Ельцин Центре

Вечер одноактных танцевальных спектаклей и перформансов

ВВеренице состоит из 4-х программ:

1) KuStudio – воспроизводит звуки и осуществляет тайминг, параметры посылает в VVerenice_Render

2) KuTracker – захват данных с кинекта, посылает данные в VVerenice_Render (Kinect V2)

3) VVerenice_Render – рендер цифр и видеолуперы (повторители)

4) VDMX – получает видео из VVerenice_Render, накладывает картинку сетки, делает инверсию и выводит на экран

VDMX – покупная, остальные сами делали

15 марта, Лекция “Танцевальные перформансы с визуальным рядом и интерактивностью”

Екатерина Жаринова, Денис Перевалов

Лекция адресована студентам Факультета современного танца Гуманитарного университета

ФАКУЛЬТЕТ СОВРЕМЕННОГО ТАНЦА Адрес: Железнодорожников 3, ауд. 103.

июнь Выставка Kuflex #1 в Абрау Дюрсо

We are [**Kuflex**](http://kuflex.com\.

Now we opened an exhibition Kuflex #1 at gallery Media Art Abrau ([**Abrau Durso**](https://en.wikipedia.org/wiki/Abrau-Dyurso\ and sound.

https://vimeo.com/224376237

https://www.slideshare.net/perevalovds/kuflex-1-exhibition

Projects, as they shown in video:

  1. Portal (big LED display + mirrors, Xtion; pure oF)

  2. Another Land (projectors, Xtions; oF + Unreal Engine 4)

  3. Constellations (projector + holographic meshes; Xtion, PC; pure oF)

  4. Quantum Space (projectors, Xtions; oF + Max/MSP)

  5. Scanner (LED TV, 1 Kinect v2; pure oF)

  6. Moths (projector, Xtion; pure oF)

  7. Simbiosys (projectors, Xtions; pure oF)

  8. Speed of Color (projectors, Xtions; of + Unreal Engine 4)

We published the oF-addons and functions which were used extensively in this projects:

* [**ofxKuTextGui**](https://github.com/perevalovds/ofxKuTextGui\, which saves so much time for us. Also, up to 16 programs made with ofxKuTextGui can be controlled remotely via OSC, using [**KuRemote**](https://github.com/kuflex/KuRemote\ project. This, again, saves a lots of time when tuning up mapping and other parameters across all installations.

* [**ofxKu**](https://github.com/kuflex/ofxKu\

* [**ofxKuBox2d**](https://github.com/kuflex/ofxKuBox2d\ – addon for Box2D library especially intended for simulating physics with Kinect masks. It is used as a main part for creating interactivity in Another Land project.

* [**ofxKuNetwork**](https://github.com/kuflex/ofxKuNetwork\ – wrapper over ofxNetwork oF core addon, intended for sending and receiving data arrays over network. It is used in all “big” installations – Quantum Space, Another Land, Simbiosys, for transferring data from “Tracker” computer (controlling Kinects/Asus Xtions) to “Render” computer (performing actual rendering on the screen).

Two projects (Another Land and Speed of Color) use not oF, but Unreal Engine 4 for rendering, whereas capturing data from depth cameras and modelling physics performed using oF. Control information from oF-programs is sent to Unreal project using our plugins for Unreal Engine (will be published soon).

One plugin sets positions of objects in Unreal scene (in Another Land), and another plugin sets content of texture (in Speed of Color). Plugins are based on this [**code for creating texture**](https://github.com/kuflex/UnrealCPP\ in Unreal Engine 4.

We will be happy give more detailed information on projects. Also we are ready to teach oF and UE on master-classes (English language) and looking for collaborations all around the world :slight_smile:

Микрокосмос (Анастасия Крохалева), ЕЦ

Кокон (Анастасия Крохалева), ЕЦ

14 сентября Связь Восстановлена (Анастасия Крохалева), IV Уральская Биеннале современного искусства

23 сентября, Мастер класс Unreal Visual Orchestra Москва (Kuflex)

24 сентября, Лекция “Пространство Ку” Москва (Kuflex)

3 October 2017 Degree of Freedom performance in Tyumen

dof-1

4 october Index of the Time, light pendulum installation at EACA

В эркере ЕАСИ смонтирован световой маятник (инсталляция “Индекс времени”), в рамках параллельной программы IV Уральской Биеннале в ЕАСИ.
https://www.youtube.com/watch?v=aGOXzKEoiBA

Для того, чтобы увидеть невидимые объекты – нужно смотреть через телефон с какой-либо установленной программой для технологии Freeze Light (например, Long Exposure 2 для Android и уменьшить там разрешение до ~400).

 

8 октября Лекция синтез видео и звука в ИММ

 

12 октября Мастер-класс на тему “Введение в цифровое искусство”
ЕАСИ

На мастер классе я показал объединение реального и цифрового мира (шарик в проекции на экране отскакивал от реальной руки, поднесенной к экрану),
управление дроном ARDrone 2.0 с компьютера (запускал прямо в помещении), а также другие проекты.

27-28 октября перформанс Степень свободы в Музее Архитектуры и Дизайна

https://www.facebook.com/events/121968531813394/permalink/122110408465873/?notif_id=1509338380173933&notif_t=like

В этом перформансе использовались 5 фонариков с узким лучом, которые светили вдоль пола на датчики. Датчик включал/выключал дрон, при этом то, какой именно дрон включится, определялось при первом срабатывании датчика.

В звуке я добавил рандомизатор скорости и длины гранул – звук стал более похож на работающую машину.

Advertisements