Блог

Aug 11, 2023

Этот ИИ может определить, что вы печатаете, по звуку

Эта статья является частью нашей эксклюзивной серии IEEE Journal Watch, созданной в сотрудничестве с IEEE Xplore. Сообщения, которые вы вводите, можно расшифровать по простому звуку постукиваний ваших пальцев по клавишам.

Эта статья является частью нашей эксклюзивной серии IEEE Journal Watch, созданной в сотрудничестве с IEEE Xplore.

Согласно недавней работе исследователей из университетов Дарема и Суррея, а также Лондонского университета, набираемые вами сообщения можно расшифровать по простому звуку постукиваний ваших пальцев по клавишам.

Исследователи обучили две модели машинного обучения распознавать характерные щелчки каждой клавиши на клавиатуре ноутбука Apple. Модели обучались на аудио, собранном из двух источников: смартфона, находящегося поблизости, и видеозвонка, проведенного через Zoom. Они сообщают о точности 95 процентов для модели звука смартфона и 93 процента для модели вызова Zoom.

Эти модели могут сделать возможным так называемую акустическую атаку по побочным каналам. Хотя техника, представленная в этой статье, основана на современных методах машинного обучения, такие атаки датируются как минимум 1950-ми годами, когда британские спецслужбы тайно записали механические устройства шифрования, используемые правительством Египта.

Атака по акустическому побочному каналу ноутбука оценивает, какие клавиши были нажаты и в каком порядке, на основе аудиозаписей человека, использующего их. Эти атаки могут раскрыть конфиденциальную информацию пользователя, например банковские ПИН-коды, пароли учетных записей или правительственные учетные данные.

Модели команды построены на основе сверточных нейронных сетей или CNN. Точно так же, как такие сети могут распознавать лица в толпе, они могут распознавать закономерности в спектрограмме — графике аудиосигнала. Программа изолирует звук каждого нажатия клавиши, преобразует его сигнал в спектрограмму, извлекает из него частотные характеристики каждого щелчка и вычисляет относительную вероятность нажатия данной клавиши.

«Мы рассматривали акустические данные как изображение для CNN», — говорит Эхсан Торейни, соавтор отчета. «Я думаю, что это основная причина, по которой наш метод работает так хорошо».

Атака по акустическому побочному каналу основана на оценке того, какие клавиши и в каком порядке были нажаты, чтобы восстановить конфиденциальную информацию.

Атака, представленная в статье, ограничена в масштабах. Две модели декодирования звука были обучены и оценены на данных, собранных от одного и того же пользователя, печатающего на одном ноутбуке. Кроме того, используемый ими процесс обучения требует, чтобы звуки клавиш сочетались с их обозначениями. Еще неизвестно, насколько эффективной будет эта атака, если ее использовать на других моделях ноутбуков в разных аудиосредах и с разными пользователями. Кроме того, необходимость в размеченных обучающих данных ограничивает масштабы применения модели.

Тем не менее, существуют правдоподобные сценарии, в которых злоумышленник получит доступ к помеченным аудиоданным печатающего человека. Хотя эти данные может быть трудно собрать тайно, человека можно заставить предоставить их. В недавнем интервью подкаста Smashing Security Торейни и соавтор Марьям Мехрнежад описывают гипотетический сценарий, в котором компания требует от новых сотрудников предоставить эти данные, чтобы в дальнейшем за ними можно было следить. В интервью IEEE Spectrum Мехрнежад сказал, что «еще одним примером может быть насилие со стороны интимного партнера. Бывший партнер или нынешний партнер могут оказаться плохим актером в этом сценарии».

Исследовательская группа представляет несколько способов снизить риски этой атаки. Во-первых, вы можете просто печатать быстро: слепая печать может смешивать отдельные нажатия клавиш и усложнять изоляцию и декодирование нажатий клавиш. Системные изменения также могли бы помочь. Сервисы видеовызовов, такие как Zoom, могут вводить в записи профили звукового шума или искажений, которые не позволяют моделям машинного обучения легко сопоставлять звук с набираемыми символами.

«Сообщество кибербезопасности и конфиденциальности должно найти более безопасные и сохраняющие конфиденциальность решения, которые позволят людям использовать современные технологии без риска и страха», — говорит Мехрнежад. «Мы считаем, что у промышленности и политиков есть возможность найти лучшие решения для защиты пользователя в различных контекстах и ​​приложениях».

Исследователи представили свою работу на недавнем Европейском симпозиуме IEEE по безопасности и конфиденциальности в 2023 году.