на каком языке играет музыка

Как узнать название песни по отрывку звука?

Сколько раз вы сталкивались с ситуацией, когда по радио или в видео на YouTube слышали классную песню, но не знали кто ее поет, и никто в комментариях не смог сказать ее название?

В такой ситуации, вам помогут различные программы по распознаванию музыки, такие как Tunatic, AudioTag, Shazam и Midomi. В этой статье мы сделаем обзор их основных возможностей, протестируем и укажем на преимущества и недостатки каждого.

Shazam

Shazam — самый популярный сервис, который имеет приложение для iPhone и Android, а также десктопный клиент для компьютера под Windows. В настройках приложения вы можете настроить Shazam так, чтобы каждый раз, когда вы запускаете приложение, сразу же запускался поиск. Это довольно удобно.

Shazam достаточно послушать отрывок всего несколько секунд и вам станет доступна вся необходимая информация о треке, в том числе обложка альбома, а также возможность купить произведение на Amazon. Кроме того, можно поделиться данной композицией со своими друзьями в социальных сетях, посмотреть клип, ознакомиться с гастрольными турами исполнителя, посмотреть его дискографию. В приложении сохраняется вся ваша история поиска.

Установка приложения осуществляется совершенно бесплатно. Приложение имеет стильный дизайн с хорошим функционалом. Конечно, для работы приложения требуется наличие интернета. Для того чтобы начать определение, достаточно нажать одну кнопку, после чего появится надпись «Слушаю» и уже через несколько секунд появится название песни. Тестирование сервиса происходило на Android-смартфоне, но это не имеет никакого значения. Программа определила все предложенные ей песни.

Google Assistant & Siri

Не обязательно устанавливать отдельное приложения, два этих цифровых помощника отлично справляются с этой задачей. Просто вызовите голосового ассистента с помощью кнопки «Домой» и скажите что-то вроде «Какая песня сейчас играет?». Сразу после этого начнется распознавание.

Мы попробовали как Siri, так и Google Assistant, чтобы определить некоторые популярные треки. Результаты нас порадовали. Поэтому, если не хотите устанавливать отдельное приложение — это хороший вариант.

SoundHound

SoundHound — самый большой конкурент Shazam, так что довольно сложно точно решить, какая из программ лучше. SoundHound позволяет использовать голосовое управление и просто сказать: «OK, Hound. Что это за песня?», — после чего приложение сразу распознает нужную мелодию. Или можно найти песню по словам, которые вы запомнили.

Вы также можете нажать на оранжевую кнопку, чтобы определить музыку и посмотреть текст песни в реальном времени, найти клип и поделиться им в социальных сетях. Программа готова даже дать ответ на вопрос наподобие «Какая последняя песня у Тейлор Свифт?». Причем всё это — без помощи рук.

Приложение доступно на Android и iOS.

Midomi

Midomi — онлайн сервис для распознавания музыки, который не требует загрузки файла. Достаточно нажать одну кнопку и программа начнет прослушивать трек, который требуется найти. Запись фрагмента происходит очень быстро — необходимо менее 10 секунд, чтобы определить исполнителя. Перед записью, приложение спрашивает разрешение доступа к вашему микрофону.

В результатах поиска появится название произведение, имя исполнителя и обложка альбома. Также будет предложено найти клип или приобрести mp3-файл. Можно будет посмотреть все песни из данного альбома, прослушать небольшие 30 секундные отрывки для ознакомления с возможностью приобрести понравившиеся композиции.

AudioTag

AudioTag — для того чтобы начать поиск, достаточно перейти на сайт и загрузить файл с нужным фрагментом или указать на него ссылку. Разработчиками сайта рекомендуется загружать треки длительностью 15 – 45 секунд, но никто не запрещает вам отправить всю песню.

Поддерживается работа с форматами MP3, WAV, OGG. В верхней части сайта есть кнопка для переключения на русский язык. Если качество отрывка будет невысоким и робот не сможет однозначно определиться с названием, то он предложит несколько вариантов.

Анализ проходит в течении 20-30 секунд. К сожалению, если услышали музыку по радио, тут же найти ее не удастся. Поэтому, нужно успеть записать фрагмент. Разработчики утверждают, что робот сможет справиться даже с плохими по качеству записями.

В результате тестирования, сервис AudioTag смог найти все пять треков. Он легко справился как с прошлогодними композициями, так и с песнями десятилетней давности. Единственным недостатком является необходимость дополнительно записывать отрывок песни и загружать его на сайт.

Tunatic

Tunatic представляет собой бесплатное декстопное приложение. Её можно установить под операционные системы Windows и Mac OS. После простой установки появляется окно программы с надписью «Tunatic ready. Click to identify song». Работать с ней чрезвычайно просто — достаточно нажать белую кнопку с изображением лупы во время воспроизведения трека. После соединения с сервером появится надпись «Identifying song. Please wait» — это программа собирает и отправлять данные на сервер для поиска совпадений в базе данных. Если у вас не работает микрофон или музыку не слышно, то появится надпись «Signal too weak. Check your microphone». Если песня определилась, то появится имя исполнителя и ее название.

Результаты тестирования следующие: из 5 зарубежных песен нашлось только 3. Поиск каждого трека занимает около 45 секунд. Не могу сказать, закономерность это или случайность, но треки старше 2010 года — идентифицировать не удалось.

Выводы

Подводя итоги нашего обзора, хочу отдать первое место Shazam за практически мгновенное распознавание, а также широкий выбор решений, как для десктопных компьютеров, так и для практически любых мобильных устройств. Второе место занимает Midomi, который также быстро и безошибочно нашел предложенные треки, и, кроме того, умеет анализировать записи «на лету» без необходимости загрузки файлов. Третье место получает AudioTag за определение всех отрывков, но с возможностью поиска только сохраненных на компьютере файлов. Четвертое место получает программа Tunatic за то, что не справилась со всеми предложенными ей произведениями.

Источник

Как определить название песни или музыки из видео

Если вам понравилась какая-то играющая музыка или песня, в том числе на YouTube или в другом видео, но вы не знаете название этой этой музыки, сегодня имеется множество возможностей определить песню по звуку — то есть узнать название музыкальной композиции по её мелодии, при этом независимо от того, музыка ли это без слов или песня, состоящая преимущественно из вокала (даже, если он исполняется вами).

Как распознать музыку на iPhone и iPad

Если у вас iPhone или iPad, возможно, вам не требуются какие-либо сторонние приложения: просто спросите у Siri, что за песня играет, с большой вероятностью, она сможет определить её название (при наличии подключения к Интернету).

Причем используется для этого Shazam, несмотря на то, что само приложение устанавливать на iPhone и тратить память не нужно — этот сервис определения музыки принадлежит Apple и интегрирован в голосовой помощник Siri.

Как определить песню по звуку на Android

Если у вас телефон или планшет Android, с большой вероятностью вам не обязательно прибегать к каким-либо сторонним приложениям наподобие Shazam, чтобы пользоваться функциями поиска названия и исполнителя музыки по её мелодии.

Достаточно использовать один из следующих вариантов:

Как определить название песни с помощью сторонних приложений

Помимо официальных возможностей от Google и Apple, существуют и сторонние приложения для того, чтобы узнать что за песня играет, все эти приложения доступны как для Android так и для iPhone в Play Маркет и App Store.

SoundHound

Второе по популярности приложения такого рода — Soundhound, предоставляющее, помимо функций определения песни, еще и тексты песен.

Скачать Soundhound можно также бесплатно из Play Маркет или App Store.

Как узнать песню или музыку по звуку с помощью Яндекс Алисы или Яндекс Музыки

Если вы используете голосовой помощник Яндекс Алиса, доступный для iPhone, iPad, Android и Windows, помимо прочего умеет определять песню по звуку. Всё что нужно, чтобы определить песню по её звучанию — задать соответствующий вопрос Алисе (например: Что за песня играет?), дать её послушать и получить результат, как на скриншотах ниже (слева — Android, справа — iPhone).

К сожалению, функция работает только на устройствах iOS и Android, при попытке задать ей тот же вопрос в Windows, Алиса отвечает «Так делать я пока ещё не умею» (будем надеяться, что научится). Скачать Алису вы можете бесплатно из App Store и Play Маркет в составе приложения Яндекс.

Если вы используете приложения Яндекс Музыка, то в нем на вкладке «Поиск» есть отдельная кнопка для поиска названия и автора песни по её звучанию:

Shazam

Самое известное и популярное — Shazam, использование которого можно увидеть на скриншоте ниже.

Скачать Shazam можно бесплатно с официальной страницы приложения:

Определение название песни по мелодии онлайн из видео и YouTube

Если вам требуется определять музыку по звуку на компьютере, например, из видео на YouTube, для этого можно воспользоваться следующими простыми возможностями.

AudioTag.info

Онлайн сервис определения музыки по звуку AudioTag.info на настоящий момент времени работает только с примерами файлов (можно записать на микрофон или с компьютера) или со ссылками на видео в YouTube или других сервисах. Использование сайта для поиска песни не составит труда, всё на русском языке:

В моем тесте audiotag.info не распознавал популярные композиции (записывал на микрофон), если был представлен короткий отрывок (10-15 секунд), а на более длинных файлах (30-50 секунд) для популярных песен распознавание работает хорошо. Адрес онлайн поиска названия музыки по звуку — https://ru.audiotag.info/

Midomi.com

Ещё один сервис онлайн распознавания музыки, уверенно справляющийся с задачей — https://www.midomi.com/.

Для того, чтобы узнать песню онлайн по звуку с помощью midomi.com, зайдите на сайт и кликните мышью по «Click and Sing or Hum» вверху страницы. В результате вы сначала должны будете увидеть запрос на использование микрофона, после чего можно напеть часть песни (не пробовал, петь не умею) или поднести микрофон компьютера к источнику звука, подождать около 10 секунд, и, если поиск не закончится автоматически, еще раз кликнуть туда же (будет написано Click to Stop) и посмотреть, что определилось.

Однако все то, что я только что написал — не слишком удобно, если нужно узнать мелодию из фильма на компьютере. Если у вас задача именно в этом, а не определение с микрофона (или у вас отсутствует микрофон), то можно поступить следующим образом:

Теперь, при определении песни онлайн в сервисе midomi.com, сайт будет «слышать» любой звук, проигрывающийся на вашем компьютере. Порядок действия для распознавания тот же: запустили распознавание на сайте, запустили песню на компьютере, подождали, остановили запись и увидели название песни (если вы используете микрофон для голосового общения, не забудьте потом поставить его в качестве устройства записи по умолчанию).

Расширение AHA-Music для Google Chrome

Ещё один работающий способ определения названия песни по ее звучанию — расширение AHA Music для Google Chrome, установить которое можно бесплатно в официальном магазине Chrome. После установки расширения справа от адресной строки появится кнопка для идентификации воспроизводимой композиции — достаточно нажать по этой кнопке и через некоторое время будет отображено, какая музыка играет на текущей вкладке браузера, ниже — пример для YouTube.

Расширение работает исправно и определяет песни правильно, причем удается узнать даже редкие песни на русском языке.

Источник

Как найти песню по звуку онлайн (через микрофон на ПК и Андроиде)

Здравствуйте.

Вот так бывает: сидишь себе где-нибудь, проводишь приятно время — играет хорошая музыка. Хочешь скачать себе на ПК/телефон такую же — но не знаешь кто исполняет композицию, не узнаешь исполнителя. 😥

Однако, спешу обрадовать: сейчас есть специальные программы для телефона и компьютера, позволяющие автоматически и довольно быстро определить по звуку, кто исполняет данную песню. 😉

Конечно, пока вероятность определения у них не 100% — но очень близкая к этому значению (

95%). Ну а потом, уже зная кто и чего — найти композицию будет значительно проще!

В статье я рассмотрю несколько сервисов для компьютера, и несколько приложений для телефона на Андроид. Каждый из сервисов имеет свои отличительные черты (плюсы/минусы), поэтому предварительно см. описание.

Распознаем песню по звуку

Приложения

Пожалуй, они пользуются наибольшей популярностью на смартфонах, т.к. на любом из них есть микрофон (в отличие от ПК), а значит всегда, что слышно в округе — можно попытаться распознать.

Для полноценной работы данных приложений необходимо нормальное Интернет-соединение. Дело в том, что для сравнения текущего звука, который вы слышите, с большой базой песен — необходим достаточно мощный сервер, на который и передается слышимый звук телефоном (возможностей телефона для распознавания песни не хватит).

Алиса от Яндекс (и др. ассистенты)

Есть в приложениях: «Яндекс», «Яндекс-браузер

Если у вас относительно новый смартфон и он локализован для нашей страны — большая вероятность, что в нем есть приложение «Яндекс» (либо «Яндекс-браузер»). И в том, и в другом ПО — есть встроенный ассистент Алиса (она умеет определять, находить и воспроизводить музыку).

Для ее запуска — достаточно кликнуть по характерному значку (белый треугольник в сиреневом круге). 👇

Предустановленное приложение «Яндекс» на телефоне / Android 10.0

Собственно, после запуска «Алисы» — просто скажите ей голосом «Алиса, что за музыка играет?».

Далее она немного послушает ее (5-10 сек.) — и с большой долей вероятности покажет вам название трека, и его исполнителя. Кроме этого, предложит прослушать этот трек 📌на Яндекс-музыке (вы сможете сразу же добавить его к себе в избранное!). Удобно!? 😉

Пример работы! || Приложение «Яндекс» на Android 10.0

📌 Важно!

Есть и другие виртуальные ассистенты, которые могут решать аналогичную задачу (Ассистент Google, Маруся от mail.ru, Салют от Сбера и пр.). У меня на блоге есть отдельная заметка с их возможностями.

Shazam (на Андроид)

Примеры работы в Shazam

Еще одно довольно популярное приложение для смартфона на Андроид. Позволяет за считанные секунды воспроизведения звука (5-10 секунд!) — определить название композиции и ее исполнителя.

Всё, что потребуется от вас после установки приложения — это нажать одну кнопку «Автошазам» (см. скриншот выше — приложение отлично справилось с русскими и зарубежными исполнителями).

SoundHound (Windows 10/Андроид)

SoundHound: пример работы приложения

SoundHound — отличное приложение, работающее как на ПК под управлением Windows 10, так и на смартфонах под Андроид. Для того, чтобы определить и распознать играющую песню — достаточно нажать одну оранжевую кнопку и через 10 секунд вы увидите название композиции!

Онлайн-сервисы

Midomi (по звуку через микрофон онлайн)

Очень мощный онлайн-сервис, позволяющий распознавать песню через микрофон (причем даже в тех случаях, когда вы сами ее напоете — т.е. сервис даже по этому звуку может найти мелодию!).

Все что требуется от пользователя, чтобы начать распознавание — это зайти на сайт, кликнуть мышкой по кнопке с микрофоном (скрин выше), разрешить сервису получить данные с вашего микрофона, и ву-а-ля — через 10-15 сек. вы узнаете песню!

Как пользоваться сервисом:

Разрешить получить звук с вашего микрофона

AudioTag (для MP3-файлов, онлайн-радио и пр.)

Наверное, один из лучших сервисов на который можно загрузить уже имеющийся в наличие трек (например, MP3-файл). Я думаю, что у кого на диске много различной музыки, не раз встречались не подписанные треки (к примеру, трек №1, трек №2 и т.д.). В этом случае — их достаточно загрузить на сервис и получить название композиции.

Кроме этого, сервис позволяет вставить ссылку на определенный трек или воспроизводимое онлайн-аудио (например, Интернет-радио). Очень удобно, услышав интересную песню — просто быстренько вставить ссылку и получить результат.

Для начала использования:

Насчет музыки из фильмов (если приложения не находят информацию по исполнителю)

Бывает так, что в каком-нибудь фильме (сериале) услышишь интересную композицию (саундтрек), но приложения ее не находят. Как быть? 😥

📌Один из вариантов: зайти на сайт https://www.imdb.com/ и найти на нем нужный фильм (я в своем варианте взял «Один дома / Home alone»). В нижней части окна карточки фильма будет заветная ссылка «Soundtracks» (саундтреки). См. скрин ниже. 👇

Далее перед вами предстанет список саундтреков с их оригинальным названием и исполнителем. Удобно?! 👌

Источник

Shazam: алгоритмы распознавания музыки, сигнатуры, обработка данных

В ресторане заиграла почти забытая песня. Вы слушали её в далёком прошлом. Сколько трогательных воспоминаний способны вызвать аккорды и слова… Вы отчаянно хотите послушать эту песню снова, но вот её название напрочь вылетело из головы! Как быть? К счастью, в нашем фантастическом высокотехнологичном мире есть ответ на этот вопрос.

У вас в кармане лежит смартфон, на котором установлена программа для распознавания музыкальных произведений. Эта программа – ваш спаситель. Для того чтобы узнать название песни, не придётся ходить из угла в угол в попытках выудить из собственной памяти заветную строчку. И ведь не факт, что это получится. Программа, если дать ей «послушать» музыку, тут же сообщит название композиции. После этого можно будет слушать милые сердцу звуки снова и снова. До тех пор, пока они не станут с вами единым целым, или – до тех пор, пока вам всё это не надоест.

Мобильные технологии и невероятный прогресс в области обработки звука дают разработчикам алгоритмов возможность создавать приложения для распознавания музыкальных произведений. Одно из самых популярных решений такого рода называется Shazam. Если дать ему 20 секунд звучания, неважно, будет ли это кусок вступления, припева или часть основного мотива, Shazam создаст сигнатурный код, сверится с базой данных и воспользуется собственным алгоритмом распознавания музыки для того, чтобы выдать название произведения.

Как же всё это работает?
Описание базового алгоритма Shazam в 2003-м году опубликовал его создатель, Эвери Ли Чунь Вонг (Avery Li-Chung Wang). В данном материале мы в деталях разберём основы алгоритма распознавания музыки Shazam.

От аналоговых сигналов к цифровым: дискретизация

Что такое, на самом деле, звук? Может быть, это некая таинственная бестелесная субстанция, которая проникает в наши уши и позволяет слышать?

Конечно же, всё не так уж и загадочно. Давно известно, то звук – это механические колебания, которые распространяются в твёрдых, жидких и газообразных средах в форме упругих волн. Когда волна достигает уха, в частности – барабанной перепонки, приводятся в движение слуховые косточки, которые передают колебания дальше, к волосковым клеткам, расположенным во внутреннем ухе. В результате механические колебания преобразуются в электрические импульсы, которые передаются по слуховым нервам в мозг.

Устройства для записи звука довольно точно имитируют вышеописанный процесс, конвертируя давление звуковой волны в электрический сигнал. Звуковая волна в воздухе – это непрерывный сигнал, представленный областями сжатия и разрежения. Микрофон, первый электронный компонент, с которым встречается звуковой сигнал, преобразует его в сигнал электрический, который всё ещё остаётся непрерывным. Подобные сигналы в цифровом мире не особо полезны, поэтому, перед хранением и обработкой в цифровых системах, их нужно преобразовать в дискретную форму. Делается это с помощью выборки значений, представляющих значения амплитуды сигнала.

В процессе подобного преобразования производится квантование аналогового сигнала. Здесь не обходится без небольшого количества ошибок. Таким образом, мы имеем дело не с одномоментным преобразованием, аналого-цифровой преобразователь выполняет множество операций по преобразованию очень маленьких частей аналогового сигнала в цифровой. Этот процесс называют дискретизацией или сэмплингом.

Аналоговый (непрерывный) и цифровой (дискретный) сигналы

Благодаря теореме Котельникова мы знаем, какая частота дискретизации нужна для того, чтобы точно представить непрерывный сигнал, ограниченный некоторой частотой. В частности, для того, чтобы захватить весь частотный спектр звуков, доступных человеческому слуху, мы должны использовать частоту дискретизации, вдвое превышающую верхнюю границу частот, слышимых человеком.

А именно, человек может слышать звуки в диапазоне примерно от 20 Гц до 20000 Гц. В результате звук чаще всего записывают с частотой дискретизации 44100 Гц. Именно эта частота дискретизации используется в компакт-дисках. Она же чаще всего применяется для кодирования звука в группе стандартов MPEG-1 (VCD, SVCD, MP3).

Широкому использованию частоты дискретизации в 44100 Гц мы обязаны, преимущественно, корпорации Sony. В своё время звуковые дорожки, закодированные таким способом, удобно было совмещать с видео в стандартах PAL (25 кадров в секунду) и NTSC (30 кадров в секунду), работать с ними, используя существующее оборудование. Весьма важно и то, что эта частота достаточна для качественной передачи звука в диапазоне до 20000 Гц. Цифровое звуковое оборудование, использующее эту частоту дискретизации, вполне соответствовало по качеству аналоговому оборудованию тех времён, когда происходило становление стандартов цифрового звука. В итоге, выбирая частоту дискретизации звука при записи, вы, вероятнее всего, остановитесь на 44100 Гц.

Запись: захват звука

Записать сэмплированный звуковой сигнал – задача довольно простая. Современные звуковые карты содержат встроенные аналого-цифровые преобразователи. Поэтому достаточно выбрать язык программирования, найти подходящую библиотеку для работы со звуком, указать частоту дискретизации, количество каналов (обычно – один или два, для монофонического и стереофонического звучания, соответственно), выбрать количество битов в одном сэмпле (например, часто используется 16 бит). Затем нужно открыть строку данных со звуковой карты, так же, как открывается любой входной поток, и записать его содержимое в байтовый массив. Вот, как это делается в Java:

Временная и частотная области

В нашем массиве записано цифровое представление звукового сигнала во временной области. То есть, у нас есть сведения о том, как менялась амплитуда сигнала с течением времени.

В 19 веке Жан Батист Джозеф Фурье сделал выдающееся открытие. Заключается оно в том, что любой сигнал во временной области эквивалентен сумме некоторого количества (возможно, бесконечного) простых синусоидальных сигналов, при условии, что каждая синусоида имеет определённую частоту, амплитуду и фазу. Набор синусоид, которые формируют исходный сигнал, называют рядом Фурье.

Другими словами, можно представить практически любой сигнал, развёрнутый во времени, просто задав набор частот, амплитуд и фаз, соответствующих каждой из синусоид, которые этот сигнал формируют. Такое представление сигналов называют набором частотных интервалов. В каком-то смысле, сведения о частотных интервалах являются чем-то вроде «отпечатков пальцев» или сигнатур сигналов, развёрнутых во времени, давая нам статическое представление динамических данных.

Сигналы, развёрнутые во времени, и их частотные характеристики

Вот как выглядит анимированное представление Ряда Фурье для прямоугольной волны частотой 1 Гц. Здесь же показана аппроксимация исходного сигнала на основе набора синусоид. На верхнем графике сигнал показан в амплитудно-временной области, на нижнем дано его представление в амплитудно-частотном виде.

Преобразование Фурье в действии. Источник: Rene Schwarz

Анализ частотных характеристик сигналов значительно облегчает решение множества задач. Оперировать такими характеристиками в сфере обработки цифровых сигналов, очень удобно. Они позволяют изучать спектр сигнала (его частотные характеристики), определять, какие частоты в этом сигнале имеются, а какие – нет. После этого можно произвести фильтрацию, усилить или ослабить некоторые частоты, или просто распознать звук определённой высоты среди имеющегося набора частот.

Дискретное преобразование Фурье

Итак, нужно найти способ получения частотных характеристик сигналов, развёрнутых во времени. В этом нам поможет дискретное преобразование Фурье (ДПФ, DFT, Discrete Fourier Transform). ДПФ – это математический метод анализа Фурье для дискретных сигналов. С его помощью можно преобразовать конечный набор образцов сигнала, взятых с равными промежутками времени, в список коэффициентов конечной комбинации комплексных синусоид, упорядоченных по частоте, принимая во внимание, что эти синусоиды были дисретизированы с одной и той же частотой.

Один из самых популярных численных алгоритмов для вычисления ДПФ называется быстрое преобразование Фурье (БПФ, FFT, Fast Fourier Transformation). На самом деле, БПФ представлен целым набором алгоритмов. Среди них чаще всего используются варианты алгоритма Кули-Тьюки (Cooley-Tukey). В основе этого алгоритма лежит принцип «разделяй и властвуй». В ходе вычислений используется рекурсивное разложение исходного ДПФ на мелкие части. Прямое вычисление ДПФ для некоторого набора данных n требует O(n 2 ) операций, а использование алгоритма Кули-Тьюки позволяет решить ту же задачу за O(n log n) операций.

Несложно найти подходящую библиотеку, реализующую алгоритм БПФ. Вот несколько таких библиотек для разных языков:

Вот пример сигнала до и после БПФ-анализа.

Сигнал до и после БПФ-анализа

Распознавание музыки: сигнатуры песен

Один из неприятных побочных эффектов БПФ заключается в том, что проведя анализ, мы теряем информацию о времени. (Хотя, теоретически, подобного можно избежать, но на практике для этого понадобится огромная вычислительная мощность.) Например, для трёхминутной песни мы можем видеть звуковые частоты и их амплитуды, но вот где именно в произведении эти частоты встречаются, не знаем. А это – важнейшая характеристика, которая делает музыкальное произведение тем, что оно есть! Нам нужно как-то узнать точные значения времени, когда появляется каждая из частот.

Именно поэтому мы будем пользоваться чем-то вроде скользящего окна, или блока данных, и подвергать трансформации лишь ту часть сигнала, которая в это «окно» попадает. Размер каждого блока можно определить с использованием различных подходов. Например, если мы записываем двухканальный звук с размером образца равным 16 бит и с частотой дискретизации 44100 Гц, одна секунда такого звука займёт 176 Кб памяти (44100 образцов * 2 байта * 2 канала). Если мы установим размер скользящего окна, равный 4 Кб, то каждую секунду нам нужно будет проанализировать 44 блока данных. Это – довольно высокое разрешение для детального анализа композиции.

Вернёмся к программированию.

Во внутреннем цикле мы помещаем данные из временной области (образцы звука) в комплексные числа с мнимой частью равной 0. Во внешнем цикле проходим по всем блокам данных и для каждого из них запускаем БПФ-анализ.

Как только у нас будут сведения о частотных характеристиках сигнала, можно приступать к формированию цифровой сигнатуры музыкального произведения. Это – самая важная часть всего процесса распознавания музыки, который реализует Shazam. Главная сложность здесь – выбрать из огромного количества частот именно те, которые важнее всего. Чисто интуитивно мы обращаем внимание на частоты с максимальными амплитудами (обычно их называют пиками).

Однако, в одной песне диапазон «сильных» частот может варьироваться, скажем, от ноты «до» контроктавы (32,70 Гц), до ноты «до» пятой октавы (4186,01 Гц). Это – огромный интервал. Поэтому, вместо того, чтобы за сразу проанализировать весь частотный диапазон, мы можем выбрать несколько более мелких интервалов. Выбор можно сделать, основываясь на частотах, которые обычно присущи важным музыкальным компонентам, и проанализировать их по отдельности. Например, можно воспользоваться интервалами, которые вот этот программист использовал для своей реализации алгоритма Shazam. А именно, это 30 Гц – 40 Гц, 40 Гц – 80 Гц и 80 Гц – 120 Гц для низких звуков (сюда попадает, например, бас-гитара). Для средних и более высоких звуков применяются частоты 120 Гц – 180 Гц и 180 Гц – 300 Гц (сюда входит вокал и большинство других инструментов).

Теперь, когда мы определились с интервалами, можно просто найти в них частоты с самыми высокими уровнями. Эти сведения и формируют сигнатуру для конкретного анализируемого блока данных, а она, в свою очередь, является частью сигнатуры всей песни.

Заметьте, что мы должны учитывать то, что запись выполнена не в идеальных условиях (то есть, не в звукоизолированном помещении). Как результат, надо предусмотреть наличие в записи посторонних шумов и возможное искажение записываемого звука, зависящее от характеристик помещения. К этому вопросу стоит подойти очень серьёзно, в реальных системах стоит реализовать настройку анализа возможных искажений и посторонних звуков (fuzz factor) в зависимости от условий, в которых проводится запись.

Для упрощения поиска музыкальных композиций их сигнатуры используются как ключи в хэш-таблице. Ключам соответствуют значения времени, когда набор частот, для которых найдена сигнатура, появился в произведении, и идентификатор самого произведения (название песни и имя исполнителя, например). Вот вариант того, как подобные записи могут выглядеть в базе данных.

Если обработать таким способом некую библиотеку музыкальных записей, можно будет построить базу данных с полными сигнатурами каждого произведения.

Поиск совпадений

Для того чтобы выяснить, какая же песня играет сейчас в ресторане, надо записать звук с помощью телефона и прогнать его через вышеописанный процесс вычисления сигнатур. Затем можно запустить поиск вычисленных хэш-тегов в базе данных.

Но не всё так просто. Дело в том, что у многих фрагментов различных произведений хэш-тэги совпадают. Например, может оказаться так, что какой-то фрагмент песни A звучит точно так же, как некий участок песни E. И тут нет ничего удивительного. Музыканты и композиторы постоянно «заимствуют» друг у друга удачные музыкальные фигуры.

Всякий раз, когда удаётся обнаружить совпадающий хэш-тег, число возможных совпадений уменьшается, но весьма вероятно, что только лишь эти сведения не позволят нам настолько сузить диапазон поиска, чтобы остановиться на единственной правильной песне. Поэтому в алгоритме распознавания музыкальных произведений нам нужно проверять ещё кое-что. А именно – речь идёт об отметках времени.

Тот фрагмент песни, что записали в ресторане, может быть из любого её места, поэтому мы просто не в состоянии напрямую сравнивать относительное время внутри записанного фрагмента с тем, что есть в базе данных.

Однако если найдено несколько совпадений, можно проанализировать относительный тайминг совпадений, и, таким образом, повысить достоверность поиска.

Например, если взглянуть в вышеприведенную таблицу, можно обнаружить, что хэш-тег 30 51 99 121 195 относится и к песне A, и к песне E. Если секундой спустя мы будем проверять хэш-тег 34 57 95 111 200, то обнаружим ещё одно совпадение с песней A, к тому же, в подобном случаем мы будем знать о том, что совпадают и хэш-теги и их распределение во времени.

Пусть i1 и i2 – это отметки времени в записанной песне, j1 и j2 – отметки времени в песне из базы данных. Мы можем говорить о том, что имеются два совпадения, с учётом совпадения разницы во времени, если выполняется следующее условие:

Это даёт возможность не заботиться о том, на какую именно часть песни приходится запись: на начало, середину, или на самый конец.

И, наконец, маловероятно, что каждый обработанный фрагмент записанной в «диких» условиях песни совпадёт с аналогичным фрагментом из базы данных, построенной на основе студийных записей. Запись, на основе которой мы хотим найти название произведения, будет включать в себя много шума, что приведёт к неким расхождениям при сравнении. Поэтому, вместо того, чтобы пытаться исключить из списка совпадений всё, кроме единственной верной композиции, в конце процедуры сопоставления с базой данных мы отсортируем записи, в которых нашлись совпадения. Сортировать будем в убывающем порядке. Чем больше совпадений – тем вероятнее то, что мы нашли нужную композицию. Соответственно, она окажется на вершине списка.

Обзор процедуры распознавания музыки

Вот обзор всей процедуры распознавания музыкальных композиций. Пройдёмся по нему от начала до конца.

Обзор процедуры распознавания музыки

Всё начинается с исходного звука. Потом его захватывают, находят частотные характеристики, вычисляют хэш-теги и сравнивают их с теми, что хранятся в музыкальной базе данных.

В подобных системах базы данных могут быть просто огромными, поэтому важно использовать решения, которые поддаются масштабированию. В связях таблиц баз данных особенной нужды нет, модель данных очень проста, поэтому здесь вполне подойдёт какая-нибудь разновидность NoSQL-базы данных.

Shazam!

Программы, подобные той, о которой мы здесь говорили, подходят для поиска схожих мест в музыкальных произведениях. Теперь, когда вы понимаете, как работает Shazam, вы можете увидеть, что алгоритмы распознавания музыки применимы не только в роли «напоминалок» названий забытых песен из прошлого, звучащих по радио в такси.

Например, с их помощью можно искать музыкальный плагиат, или задействовать их для того, чтобы найти исполнителей, которые вдохновляли некоторых первопроходцев в блюзе, джазе, в рок-музыке, в поп-музыке, да в любом другом жанре.

Возможно, хорошим экспериментом станет заполнение базы данных классикой – сочинениями Баха, Бетховена, Вивальди, Вагнера, Шопена и Моцарта и поиск схожего в их работах. Так вполне можно выяснить, что даже Боб Дилан, Элвис Пресли и Роберт Джонсон не прочь были что-нибудь позаимствовать у других!

Но можем ли мы их за это винить? Уверен, что нет. Ведь музыка – это всего лишь звуковая волна, которую человек слышит, запоминает и повторяет у себя в голове. Там она развивается, меняется – до тех пор, пока её не запишут в студии и не выпустят на волю, где она вполне может вдохновить очередного гения от музыки.

wunderfund.io — молодой фонд, который занимается высокочастотной алготорговлей. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.

Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов.
Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.

Источник