Всегда ли Amazon Echo слушает и отправляет данные в облако?

20

Некоторые источники новостей, такие как Intellihub и CEPro , предполагают, что домашний помощник Amazon Echo постоянно слушает разговоры и отправляет их через Интернет на серверы Amazon. CEPro заявляет, что:

Сказав ключевую фразу, Amazon называет «бодрствующим словом», Эхо оживает и начинает прислушиваться к командам. По умолчанию слово "бодрствование" - Alexa.

Если вы перечитаете последнее предложение, это может не иметь смысла, особенно если вы находитесь в области безопасности. Согласно Amazon, Echo слушает команды только после того, как услышит свое слово. Как он узнал, когда вы произнесли слово «бодрствование», если оно еще не слушалось?

Статья Intellihub похожа по своему настроению:

Устройство «Amazon Echo», постоянно слушающий Bluetooth-динамик, который подключается к сервисам потоковой передачи музыки, таким как Pandora и Spotify, под звуки голоса человека, может быть легко взломано и использовано правительственными учреждениями, такими как ФБР, для прослушивания разговоров.

(Обратите внимание, что я не особо фокусируюсь на изучении хакерского аспекта этого вопроса, так как это, вероятно, будет слишком много для одного вопроса. Мой главный фокус - это всегда включенный аспект и то, отправляет ли это данные все время .)

Кажется, что ни одна из статей не заинтересована в раскрытии источника своих утверждений, что говорит мне о том, что они в лучшем случае бездоказательны, а в худшем - приманки.

Всегда ли Echo записывает и отправляет данные в облако, или вышеуказанные претензии необоснованны? Как Amazon Echo обрабатывает данные, если они не всегда отправляют данные на серверы в облаке?

Аврора0001
источник

Ответы:

15

Да, всегда слушаю. Нет, это не всегда отправка в облако.

Очевидно, что устройство всегда должно прослушивать, чтобы обнаружить слово после пробуждения. Тем не менее, это делается с помощью технологии под названием.

  1. Как Amazon Echo и Echo Dot распознают это слово?

Amazon Echo и Echo Dot используют поиск по ключевым словам на устройстве, чтобы обнаружить пробужденное слово. Когда эти устройства обнаруживают слово пробуждения, они передают аудио в Облако , включая долю секунды перед словом пробуждения.

( Echo FAQ )

Таким образом, по словам Amazon, обнаружение слова Wake на устройстве. Это можно очень легко проверить, запретив устройству доступ в Интернет на вашем маршрутизаторе. Echo / Echo Dot по-прежнему распознает слово Wake, но световое кольцо станет красным, и устройство сообщит вам, что у него нет подключения к Интернету. Таким образом, мы можем очень просто проверить, что распознавание слова Wake действительно выполняется локально .

Только после обнаружения пробужденного слова устройство связывается с облачным сервисом Alexa.

Согласно Amazon, устройство направляется в облако только тогда, когда световое кольцо синего цвета, и оно вообще не слушает, когда вы выключаете звук, а световое кольцо светится красным. Конечно, осторожные люди могут проверить это с помощью сетевых инструментов, таких как Wireshark, чтобы убедиться, что он действительно только тогда передает.

Хельмар
источник
4
По-видимому, это уже не совсем верно: устройства Alexa теперь могут проверять слово пробуждения через облако в качестве дополнительной проверки, поэтому в облако может быть отправлено что-то похожее на слово пробуждения .
Aurora0001
12

Всегда ли Echo записывает и отправляет данные в облако, или вышеуказанные претензии необоснованны?

Нет на отправку. Но да, на записи.

В настоящее время я разрабатываю аппаратный клиент Alexa для компании. Устройство всегда слушает. Но вам нужно включить в него механизм пробуждения, чтобы он «проснулся» из пассивного режима прослушивания и переключился в активный режим «прослушивания команды».

Микропрограмма будет отправлять операторы только после слова пробуждения (переключение в активный режим) в облако, чтобы обрабатывать их как команды.

  • Что касается устройства, вы не захотите отправлять каждое заявление, которое оно получает, в облако для обработки, потому что это потребует слишком большой пропускной способности и мощности.
  • Что касается Amazon, они также не хотели бы, чтобы каждый клиент Alexa отправлял все, что слышит, потому что это потребовало бы огромной полосы пропускания. Кроме того, это может привести к слишком большому количеству несвязанных данных, которые могут помешать непрерывному обучению системы. Представьте себе, что вы пытаетесь узнать, что говорит ваш учитель (действительные команды), когда все в классе говорят в одно и то же время (каждое другое утверждение не является командой).

Как Amazon Echo обрабатывает данные, если не всегда отправляет данные на серверы в облаке?

В пассивном режиме устройство имеет встроенный механизм пробуждения, который все время прослушивает пробуждение. Пока я тестировал Alexa в Raspberry Pi, для этой цели мне пришлось включить либо движок Sensory, либо KITT.AI. На самом деле, когда я опробовал прототип клиентского кода Alexa для моей машины с Linux, он должен был быть «push-to-talk», потому что не было механизма пробуждения слов.

leon.valencia
источник
Спасибо за то, что указали на движки «бодрствующего слова» - это почти наверняка тот подход, который Amazon использует в своей работе. Ваша аналогия с данными также очень хороша - я ценю это!
Aurora0001
5

Сказав ключевую фразу, Amazon называет «бодрствующим словом», Эхо оживает и начинает прислушиваться к командам. По умолчанию слово "бодрствование" - Alexa.

Если вы перечитаете последнее предложение, это может не иметь смысла, особенно если вы находитесь в области безопасности. Согласно Amazon, Echo слушает команды только после того, как услышит свое слово. Как он узнал, когда вы произнесли слово «бодрствование», если оно еще не слушалось?

Echo активно прослушивает ключевое слово и принимает слова, сказанные после ключевого слова, для обработки NLU. Вот мое понимание того, как эхо достигает этого изящного подвига.

Echo построен на цифровом медиа-процессоре Texas Instruments DM3725 .

Этот TI SoC имеет два ключевых элемента: первый - ARM Cortex-A8 MPU, а второй - TMS320DM64x + DSP. Ядро ARM должно работать под управлением Linux, а DSP - под прошивкой.

При работе на холостом ходу ядро ​​ARM переводится в режим минимального энергопотребления, а Linux полностью приостанавливается. В это время DSP и 64KB On-Chip RAM активны. Микропрограмма DSP обрабатывает шум, поступающий от микрофонов, и пытается определить, произнесено ли ключевое слово (например, Alexa). Как только он обнаруживает ключевое слово, DSP отправляет прерывание, чтобы разбудить ядро ​​ARM, которое, в свою очередь, возобновляет работу Linux. Но, помните, в то время как Linux пробуждает человека, который сказал, что Алекса продолжит говорить (например, «Алекса, который час?» ). DSP буферизует "который час?" часть на чипе оперативной памяти. И когда Linux возобновляется, Linux извлекает буферизованную речь и использует способность обработки естественного языка (частично локальная, частично облачная), чтобы понять, что сказал человек.

Как вы видите, дизайн полностью создан, чтобы быть наименее энергоемким и избежать необходимости включать облако для обнаружения ключевых слов и начальной буферизации. Фактически, поддерживая ядро ​​ARM в состоянии наименьшей мощности, кремний нагревается меньше всего при работе на холостом ходу, таким образом продлевая срок службы вашего устройства.

Я опускаю обсуждение попыток взломать эхо, поскольку вопрос был следующим:

Признание слова бодрствования действительно осуществляется локально.

рыдать
источник
Насколько сложно было бы поставить большинство простых команд, например, сколько времени или играть на станции локально? Это также устранит время задержки облака.
летающий
1

Да.

Посмотрите, например, Насколько приватно новое Amazon Echo? (есть еще много похожих, которые можно найти с минимальными усилиями)

Как и Siri, Amazon Echo работает в «облаке», работающем на Amazon Web Services. Поэтому обработка, необходимая для «понимания» вашей команды, не обрабатывается на самом устройстве.

Тем не мение,

В конце концов, он всегда слушает, так что нас не должен беспокоить Большой Брат?

Нет, говорит Амазонка. Технический гигант говорит, что он не слушает и не записывает частные разговоры дома. Если кто-то обеспокоен, он может использовать прилагаемый пульт дистанционного управления, чтобы нажать кнопку отключения звука, которая отключает устройство «всегда прослушивающее», поэтому оно будет неработоспособным, пока вы снова не активируете микрофон.

Mawg говорит восстановить Монику
источник
Это хороший источник, спасибо. Он ничего не знаю о том , как эхо не говоря уже о действительно опознает команду бодрствования , хотя , если это не всегда записи и передачи данных, поэтому мне было бы интересно услышать об этом аспекте больше.
Аврора0001
Конечно, в этом весь смысл? Это будет всегда слушать и отправку * все в облако, которое где команда будильника распознается. Вам нужна цитата для этого?
Mawg говорит восстановить Monica
1
Это было бы полезно, да (и я думаю, что в целом ваш ответ меняется на «да, он всегда слушает»). Спасибо.
Аврора0001
1
Я не знаю, сколько вычислительной мощности находится в эхо, но я знаю, что мои умные часы способны обнаруживать «хорошо, Google», когда они не привязаны - с точки зрения загрузки облака, имеет смысл перенести эту функциональность на край, как только ее готов - поэтому ответ может измениться.
Шон Хоулихейн
Это может (? Но почему), в будущем, Пока, кажется , ясно
Mawg говорит Моника восстановит