Зберегти і прочитати потім - 
Передмова: пропоную познайомитися з моєю магістерською дисертацією про радіальної драм-машині. Особливо зверніть увагу на розділ про візуалізації ритму . Також перегляньте декілька більш науковий огляд літератури про візуалізації і музичній освіті. А в цієї статті я розглядаю цінність відеоігор в музичній освіті.
Процес електронного написання і написання музики включає в себе роботу не тільки слухових, але і зорових органів. Відображення даних у таких аудіоредактора, як Pro Tools і Ableton Live носить чисто інформаційний характер - це хвилі, сітки і лінійні графи. Деякі системи візуалізації виключно декоративні, наприклад, iTunes, який створює психоделическую наполовину випадкову графіком. Також існують системи, які представляють собою щось середнє. Я бачу великий потенціал в таких графічних системах, мені здається, вони можуть допомогти краще зрозуміти принцип дії музики і знайти нові оригінальні композиційні прийоми. У цій статті я пропоную вашій увазі підбірку найцікавіших систем візуалізації музики, з якими я коли-небудь стикався.
нотний запис
Західна нотний запис - традиційний багатовікової спосіб візуалізації музики. Це дуже струнка і стисла система, чітка і символічна, до того ж, її нескладно освоїти. Такі програми, як Sibelius, можуть без праці переводити музичну нотацію в MIDI-дані і назад.
Але західна нотний запис має ряд обмежень, особливо стосовно сучасної музики. Її незручно застосовувати в роботі з мікротонамі . Вона має обмежену можливістю виражати виконавські нюанси - за сто років існування джазу для позначення свінгу не було придумано нічого кращого, ніж просто написати слово «свінг» у верхній частині партитури. система ключів добре працює для мажорних тональностей , Але не так добре для мінорних тональностей і при роботі з музичними ладами , А якщо мова йде про блюзі , То застосовувати її абсолютно марно.
Хочу поділитися припущенням, як нотний запис може вдосконалитися в майбутньому. Це створена Джоном Снайдалом ( Jon Snydal ) Візуалізація соло Джона Колтрейна (John Coltrane) в пісні Майлза Девіса (Miles Davis) All Blues (я трохи відредагував, щоб візуально легше сприймалося).
Візуалізація Снайдала більше аналогова, ніж цифрова - вона відображає точні нюанси виконання Колтрейна, з ледь помітними відтінками висоти тону, таймінгу і динаміки.
MIDI-секвенсори пропонують здійснювати подальші удосконалення, виходячи за межі стандартної нотного запису. Зверніть увагу на спрощений електронний музичний секвенсор під назвою iNudge . Спробуйте, це забавно.
Ось як виглядає мелодія Thelonius Monk «Four In One» в стандартному режимі нотного стану в MIDI-секвенсорі. Прямокутники показують не тільки те, які ноти були програні і коли, але і їх точну тривалість. Червоні прямокутники потаємні означають, що гучність була вище, а рожеві прямокутники посветлее - тихіше. Також ви можете вважати показники гучності на панелі внизу.
MIDI-система дуже функціональна і зручна у використанні. Вона може фіксувати ваші рухи на клавіатурі, ви можете імпортувати партитури, у вас навіть є можливість малювати ноти прямо на екрані (мій улюблений метод).
MIDI-плеєр Music Animation Machine має ряд чудових відео, які суміщають візуальне уявлення MIDI-доріжки з аудіозаписами класичних творів. Ось, наприклад, відома Токката і Фуга Ре-мінор Баха.
Оскільки здатність програмного забезпечення витягувати дані з сучасних аудіозаписів постійно вдосконалюється, ви можете почати управляти ними з такою ж легкістю, що і MIDI. Це скріншот програми корекції тони Melodyne , Яка дуже схожа на Auto-tune .
Лінії відображають вже проспівані ноти, а помаранчеві краплі показують ноти, які повинен взяти співак, на думку програми. Товщина краплі відображає рівень гучності. Ви можете перетягувати краплі і перемальовувати лінії, як вам захочеться, щоб переробити пісню відповідно до свого настрою. Програма Melodyne може навіть розшифрувати і перезаписати програється мелодію у форматі нотного стану і MIDI.
Високі і низькі частоти
Прийнято, що більш високі частоти повинні просторово відображатися «вище», а більш низькі - «нижче». Це здається дуже розумним, але насправді вони можуть відображатися абсолютно довільно і навіть не співвідноситися з фізичним виконанням. На піаніно високі ноти знаходяться праворуч, а низькі зліва. На гітарі «низька» струна E фізично знаходиться над «верхній». Для духових інструментів гра на нижніх і верхніх нотах також не співвідноситься з їх фізичними координатами.
Абсолютна висота тону відображається поступенно по висхідній, але висотний клас відображається по колу. Саме правдоподібне зображення просторової організації тони - це спіраль.
Інші способи змоделювати співвідношення тонів
Високі і низькі - це не єдині подібні визначення, які ми використовуємо для позначення швидких і повільних вібрацій. Як я вже сказав, висотний клас виражається окружністю.
Але насправді коло лише замінює визначення «вгору / вниз» на «за годинниковою стрілкою / проти годинникової стрілки». Існують інші способи зобразити тон. Ми інтуїтивно намагаємося змінити підхід і представити їх, як руху ближче і далі або всередину і назовні. Також ми замислюємося про те, щоб зробити більш високі тони яскравіше, а низькі темніше. Деякі з тих, хто грає на струнних музичних інструментах, іноді спеціально налаштовують верхню струну трохи вище, ніж потрібно, щоб створити ефект, відомий як «блиск».
час
Загальна домовленість - позначати в нотного запису час зліва направо. Але це не єдино можливий напрямок. Я маю на увазі парадигму, яка пропонується в таких ритмічних іграх, як Dance Dance Revolution і Guitar Hero. Бездоганна реалізація цієї концепції належить грі під назвою FreQuency .
Гра навіть дозволяє створювати свої власні ремікси.
Мені подобається така «тунельна» метафора, і мені хотілося б побачити її поширення в розвиненою середовищі виробництва.
хвилі
Коливання тони є синусоїдальні (гармонійні) вібрації , І ви можете візуалізувати їх таким чином:
Синусоїдальні коливання не особливо корисні для нотного запису. Але вони дійсно допоможуть вам з наукової точки зору розібратися в тому, що відбувається, коли ви щось чуєте фізично. Ще краще спостерігати це в анімації:
Подивіться на все анімовані мембрани барабанів в Wikipedia .
Хвильові форми відображення звуку
Аудіоредактор відображають музику, як амплітуду коливань хвиль, використовуючи краплі, які стають ширшими, коли звук стає голосніше. Перед вами барабанна збивання (Funky Drummer break), створена за допомогою редактора ReСycle . Блакитні краплі показують удари барабана. Інтенсивність крапель не містить великих відомостей про музичних параметрах, вона показує тільки тривалість і гучність. Але ReСycle був створений для моделювання барабанних семплів, для яких час і гучність - єдина дійсно важлива інформація.
Це графік, який я намалював, щоб показати, як ви сприймаєте цю композицію циклічно.
В своїй статті на Design Observer Роб Уолкер (Rob Walker) говорить про хвильових коливаннях, як про музичному ідеалі, який поступово замінює традиційні «восьмушки» [в системі традиційної нотного запису - прим. перев.] або інші формати запису, які вже відслужили своє. Плеєр на сайті SoundCloud використовує привабливі хвильові графіки, які допомагають слухачеві стежити за місцем прослуховування пісні, спостерігаючи піки гучності. На SoundCloud навіть існує група, яка називається Pretty Waveforms .
Хвильова форма коливання тони має тенденцію руху від чистої функціональності в сторону дизайну. Джошуа Дістлер ( Joshua Distler ) Створив концепцію оформлення обкладинки альбому Bjork , Де кожна пісня представлена у вигляді звукової хвилі.
Теорія музики і мережі
Я завжди вважав, що було б здорово використовувати мережі для візуалізації теорії музики і навіть зробив кілька спроб це зробити. Тут представлено порівняння кола півтонів і квінти кола, які один для одного є розгорткою.
Це схема акордової послідовності в пісні Giant Steps Джона Колтрейна .
Нижче зображена структурна схема, яка показує, яким алгоритмом ви можете скористатися, щоб розібратися, який саме лад і тональність ви чуєте.
Було б набагато крутіше мати більше абстрактних тривимірних інтерактивних візуалізацій, які показували б, як функціонують акорди, тональності і мелодії. Леонард Ейлер продемонстрував спосіб відображення тональної гармонії в якості просторової решітки в формі тора, як показано на цій анімації. Червоні лінії позначають великі терції, зелені позначають малі терції, а блакитні відображають квінти.
У мене є честолюбні задуми в цій області, але мені не вистачає навичок програмування, щоб їх реалізувати. Хоча інші серйозно просуваються в цьому напрямку. Дмитро Тимошко ( Dmitri Tymoczko ) Справив фурор, опублікувавши в Science свою першу пов'язану з музикою статтю про свої топологічних методах візуалізації тональної гармонії. Я не можу до кінця розібратися в його ідеях, але вони здаються мені інтригуючими.
Це ілюстрації Аніруда Пателя (Aniruddh Patel) з його статті «Мова, Музика, Синтаксис і Мозок». І знову, я не зовсім чітко розумію, що все це означає, але планую пізніше розібратися.
Інші теоретики робили спробу використовувати колір для відображення гармонійної функції. Скрябін, наприклад, для цього винайшов «Світлову клавіатуру» , Хоча вона так і не стала користуватися популярністю.
Візуалізація музичних форм і структур
У роботі над піснею мені подобається використовувати просте колірне кодування, щоб розрізняти її відрізки. Я використовую жовтий для вступу і кінцівки, блакитний для основної теми, зелений для приспіву і помаранчевий для інструментів і брейкдаун.
Едвард Тафті (Edward Tufte) демонструє деякі більш витончені методи візуалізації структури пісні на своєму форумі :
Проект Мартіна Ваттенбурга ( Martin Wattenburg ) Shape of Song показує повтор в межах однієї музичної композиції. Ось його візуалізація пісні Мадонни Like a Prayer.
А це візуалізація Ваттенберг для композиції «До Елізи» Бетховена.
Ще варіанти
Далі наведу захоплююче відео Нікласа Роя ( Niklas Roy ) В якому показується, як ви можете створити модний аудиоряд на драм-машині, використовуючи двійковий рахунок.
А хіба ця графічна кольорова система не є крутий нотним записом або інтерфейсом?
на Visual Complexity представлено дуже багато ідей зразок цієї.
В додаток
Джон Кловер ( John Clover ) Розповів мені про це пості , Який сильно перегукується з моїм: «Приголомшлива візуалізація музики і навчання музиці».
У мене була можливість зіграти кілька пісень Bjork з альбому / проекту Biophilia . Візуалізація деяких з них дуже оригінальна і інтерактивна, деякі з пісень візуалізовані просто цікаво, але традиційно, а візуалізація деяких незрозуміла, але заслуговує на увагу за креативність. У будь-якому випадку це примітний експеримент який, я думаю, вплине на принципи візуалізації музики.
