Интерактивная инсталляция и data-перформанс на фестивале FestTech

Задача

Уникальная экспертиза студии AkademiaDev заключается в эффектной визуализации больших объемов данных. Мы превращаем массивы сложной информации в понятные интерактивные системы. Проект должен был продемонстрировать технологические и дизайн-возможности студии и укрепить ее имидж как лидера в сфере интерактивных визуальных решений для крупного и среднего бизнеса, а также государственных структур в РФ. Для нас было важно показать, что данные — это не просто цифры, а способ видеть и понимать мир.

Идея

В основе креативной концепции лежала идея, что весь окружающий мир можно представить в виде данных. Из них складывается звездное небо, ритм любимой песни, города, в которых мы живем, и даже мы сами. Просто рассказать о преимуществах визуализации данных было недостаточно, необходимо было донести эту идею через увлекательный интерактивный формат — позволить каждому посетителю фестиваля почувствовать, как привычные предметы превращаются в данные.

Мы разработали интерактивную механику, которая позволила посетителям фестиваля стать частью потока данных, а также создали Naked eye ролик, сопровождавшийся выступлением в формате TED-talk.

Инсталляция «Цифровое отражение»

В холле музея мы установили инсталляцию «Цифровое отражение»: каждый посетитель мог обрести своего цифрового двойника, созданного в реальном времени, и скачать видео по qr-коду. Для запуска механики нужно было улыбнуться в камеру, установленную рядом с экраном — в этот момент нейросеть Yolov11, настроенная на детекцию улыбки, фиксировала эмоцию и запускала процесс активации. При активации делалась фотография, которая выгружалась в отдельную папку. Механика с улыбкой помогла сфотографировать каждого посетителя, который взаимодействовал с инсталляцией. Эти фото мы через несколько часов использовали в цифровом перфомансе, о котором расскажем ниже.

После запуска инсталляции на экране появлялся цифровой двойник: с помощью камеры Azure Kinect DK формировался point cloud (облако точек) и карта глубины посетителя. На основе этих данных через симуляцию Point Relax в реальном времени создавался 3D рендер цифрового отражения. Суть Point Relax-симуляции в том, что между точками действуют взаимные силы отталкивания, как между одинаково заряженными частицами (например, протонами). Каждая точка «чувствует» другие точки поблизости и стремится отодвинуться от них. Мы использовали Point Relax simulation line: частицы формировали линии, которые повторяли движения пользователя. В результате получался текучий цифровой образ. В конце каждый мог скачать уникальное 20-секундное видео через qr код и забрать свое цифровое отражение с собой.

Благодаря тщательной проработке рендеров и настройке сетапа (включая свет, материалы, DOF) нам удалось добиться качественной и яркой real-time графики. Инсталляция стала точкой притяжения на фестивале и за несколько часов перед перформансом была активирована 342 раза.

Data-performance

Вторая часть проекта — 3D data-performance с эффектом Naked Eye, который открывал вечернюю часть основной лекционной программы, проходившей в конференц-зале музея. На огромном светодиодном экране 4800×2160 пикселей с помощью эффектной 3D-визуализации сложные идеи были отражены с помощью наглядных примеров. Гости фестиваля стали свидетелями того, как привычные вещи — от утренней чашки кофе до полета самолета и даже земного шара — превращались в цифровые образы, которые можно измерить и осознать.

Ролик сопровождался выступлением Андрея Родимцева, руководителя проектов AkademiaDev. Он рассказал о том, как данные формируют наше понимание окружающего мира и почему качественная визуализация помогает понять его лучше. Во второй части ролика на экране вырастал дашборд: озвученные тезисы подтверждались реальными открытыми данными, собранными о посетителях фестиваля. Например, из каких городов они приехали и каким был уровень загруженности площадки в разное время дня.

Изначальный дашборд разрабатывался в Figma, а потом мы разбили визуализацию на отдельные блоки и создали 3D-сцену в Blender, где анимировали дашборд таким образом, чтобы он выглядел объемным: например, добавили мягкие тени и натуральный свет.

Выступление завершал аудиовизуальный перформанс: Андрей играл на электрических барабанах и на экране шел поток фотографий посетителей фестиваля, собранных за день с помощью камеры на инсталляции в холле. Анимация этих данных происходила в TouchDesigner в реальном времени и реагировала на ритм музыки. В финальной сцене потоки фотографий собирались в образ ДНК. Перформанс продемонстрировал, какой объем данных можно собрать и визуализировать всего за несколько часов с помощью технологий.

Результаты

Для AkademiaDev этот проект был уникальным — он дал нам возможность создать интересное творческое высказывание и при этом отточить навыки использования технологий, таких как цифровой двойник и real-time визуализация. Многие механики и технологии мы раньше пробовали: например, для команды это был первый опыт перформанса, и на протяжении всего проекта мы работали с режиссером-постановщиком, чтобы правильно скоординировать ролик и выступление.

Всего за неделю мы собрали сложный креативный проект, который стал точкой притяжения на мероприятии и вызвал искренний интерес у аудитории: зрителями перформанса стали более 300 человек, а днем посетители по несколько раз подходили к интерактивной инсталляции и скачивали свое цифровое отражение.