Готовая умная колонка для Home Assistant через ESP32 и ESPHome на примере M5Stack ATOM Echo

Рет қаралды 15,698

3 ай бұрын

M5Stack ATOM Echo: alii.pub/6wkm66?erid=2SDnjd3yeic
Покупал в официальном магазине тут, но там разобрали, оставлю ссылку на будущее может появится: alii.pub/6wkm7j?erid=2SDnjdPFVP6
В этом видео показал как сделать умную колонку для Home Assistant из микрофона, динамика, esp32 в ESPHome.
В качестве примера взял готовое решение от компании M5Stack - ATOM Echo. В нем уже есть динамик и микрофон и rgb светодиод. Даже ESPHome у меня был предустановлен.
По итогу тестов, эта миниатюрная колонка пробуждается по кодовому слову, распознает команды, но задержка между отправкой команды и выполнением 5-6 секунд. И в ходе испытаний выяснилось, что это ограничения моего процессора Intel N5105, он во время распознавания голоса грузится на 100%. Для более лучшей работы колонки надо использовать мощный сервер с Home Assistant.
Так-же для управления голосом нужны предварительные настройки в Home Assistant. Которые я показывал в этом видео: • Управление голосом сер...
И которые описаны тут: psenyukov.ru/%d1%83%d0%bf%d1%8...
Меня можно поддержать на Boosty: boosty.to/upavla
Подписаться на телеграмм канал можно по ссылке: t.me/+K05yDjyd4tJmYjky
или
t.me/ypavla
Мой 3d принтер: alii.pub/6w49s6?erid=2SDnjcQ2tFr
Крутой тепловизор Infiray p2 pro: alii.pub/6w49u4?erid=2SDnjctCecQ
Теги: #Упавла! #homeassistant #умныйдом #voiceassistant #m5stack #esphome
================================================
Помощь каналу: www.donationalerts.ru/r/ypavla
Реклама: ООО "АЛИБАБА.КОМ (РУ)" ИНН: 7703380158

Пікірлер: 52

@upavla 3 ай бұрын

Подписывайтесь на телеграмм канал: t.me/ypavla

@Vilz19 3 ай бұрын

Виспер же! Ш - это «sh». Wh - это мягкая «в»

@Bad_idea965 3 ай бұрын

Бесит, правда, вроде грамотный человек, а произношения вообще нет, наверное немецкий в школе изучал ...

@MrDronix27 3 ай бұрын

Шиндоус 😊

@MrBarannikGeorge 3 ай бұрын

What - вшат?

@user-dc5li7ey5s 3 ай бұрын

Доброго дня! А колонку sberboom нельзя использовать в Home Assistant для управления?

@Dzen_Dzenovich 3 ай бұрын

Затестил сервер стоит на 2680v4 задержка в пол секунды но это через микрофон к асистанту как с m5stack я не знаю

@user-rm3jh5im1u 3 ай бұрын

Купил недавно этот M5 atom, хрень полная в сравнении с яндекс колонкой, atom слышит не дальше одного метра

@flibustieros 3 ай бұрын

Хорошее начало команды: "неипу..."

@user-jp7uw5qw8f 3 ай бұрын

Виспер у меня вообще не заводится. Пользуюсь vosk от rhasspy, задержка минимальная, распознавания не плохое.

@rykov_dc 3 ай бұрын

Павел, не Вшиспер, а Виспер)

@MrDFR-qr7ib 3 ай бұрын

Спасибо за инфу !

@u17l305194817 3 ай бұрын

Спасибо Павел, очень полезная инфа. А кто в итоге переводит команду в текст - M5Stack или сервер с хомеасистом?

@silentage6310 3 ай бұрын

сервер. whisper - voice to text piper - text to voice openwakeword - слушает весь звуковой поток постоянно и ждет активационного слова

@u17l305194817 3 ай бұрын

@@silentage6310 т.е. M5Stack выступает в качестве микрофона с динамиком получается?

@upavla 3 ай бұрын

@u17l305194817 ну да

@vadimchernov2509 3 ай бұрын

как вариант повозится штука интересная но полноценную колонку сделать всеж сложновато будет)

@user-ux8gq7zx8v 3 ай бұрын

Спасибо за интересное освещение прогресса! Подскажите, Вы пробовали в настройках "распознавание речи" выбирать не whisper, а home assistant cloud? Судя по ролику kzfaq.info/get/bejne/hrB0ZKWTtd2zfIE.htmlsi=23HO7ksB89J2AA1P там скорость распознавания должна быть намного выше. Да, данные передаются в облако, но как этап развития, почему бы и нет. Буду рад увидеть этот эксперимент на Вашем канале.

@upavla 3 ай бұрын

Эта функция вроде платная

@morphiai 3 ай бұрын

Месяц бесплатно, работает так же плохо на русском

@user-rw6qd7fz4m 3 ай бұрын

Кстати wakeword можно свой сделать, чтоб набу не звать. Избушка избушка было бы прикольно

@serg3659 3 ай бұрын

Назвать ее Галей, чтобы по команде "Галя, отмена!" выключать будильник.

@vasyafortochkin3114 3 ай бұрын

А есть возможность подключить esp32 к home assistant не по wi-fi, а по кабелю? С той задумкой, чтобы иметь один сервер HA, а ESP32 с датчиками далеко от него и связь была бы по кабелю?

@silentage6310 3 ай бұрын

у есп32 (основная, не C/S серий) есть подержка ethernet так что в теории можно

@user-em7tl8mg3c 3 ай бұрын

Так Алиса же вырубится при отвале интернета, а свой север будет работать. Так?

@Tvsafari2 3 ай бұрын

Я использовал войс модуль с распознаванием голосовых меток. Работает, как часы, мгновенно. Но голосовые метки - это куча ограничений. В итоге, перешел а Алису.

@pa3gonShaboLdov Ай бұрын

Что за модуль?

@bender_ostap1897 3 ай бұрын

Полезно , пока Алиса лучше.

@dartwejders 3 ай бұрын

Вот скажите, кто в курсе. Как же тогда колонки яндекс и гугл умудряются распознавать голос без интернета? Да, они не выполнят все команды, но распознать могут. Та же миди позволяет управлять зигби устройствами офлайн. Там ведь нет мощного процессора, но распознает она сразу.

@romanenot 3 ай бұрын

А что такое миди?

@TRUMPRUM 3 ай бұрын

Так есть же видос про разработку миди, посмотри, там как раз это объясняется.

@user-ec2vy5uc4n 3 ай бұрын

Потому что все решает софт,на железе далеко не уедешь

@dartwejders 3 ай бұрын

станция яндекс миди@@romanenot

@dartwejders 3 ай бұрын

не видел, посмотрю. спасиб@@TRUMPRUM

@user-rw6qd7fz4m 3 ай бұрын

Тест , реп, пепси

@morphiai 3 ай бұрын

Пробовал на Echo прошивку assist мой голос не распознает из 10 один раз хоть nabu alexa custom, на прошивке медиаплеера не работают play pause stop если нажать зависает и дергаешь питание, сейчас прошил их под шлюз BT для чайника redmond хоть что то полезное делают, под медиаплееры взял платы Esp32-Audio-Kit прошивка Squeezebox. Дичь полная эти echo или хозяин попугай по десять раз повторять.

@Ipeacocks 3 ай бұрын

4 ядерного процессора не достаточно? ух!

@silentage6310 3 ай бұрын

там дело даже не в ядрах. для нейросетей важно чтобы были AVX и FMA инструкции в процессоре. на N5095/5105 их нет. надо хотя бы N95/N100... а лучше бы чтото с видеокартой.

@DmitryKey 3 ай бұрын

Голос на ЦПУ обрабатывать - такая себе идея. На nvidia будут летать любые модели. Но из-за энергопотребления это так себе вариант. Надежда на новые apu от интел и поддержку их графики виспером, какие-то поползновения уже есть на гите. А может блоки npu выстрелят и на них можно будет задачу отдать, увидим. Атом для голоса - бесполезная штука, постоянный спам сервера аудиоданными, лучше б собирал на оранже.

@qMILSTORM 3 ай бұрын

Яндекс колонка прекрасно с этим справляется на древних Amlogic.. Надежда на интел уже как года 3-4 нет ни каких , а вот АМД другое дело.

@silentage6310 3 ай бұрын

в идеале бы на esp выделять моменты когда есть голос и только в эти моменты отправлять его. а совсем в идеале чтобы wakeword обрабатывался на esp, как в алисе. я думаю это вполне реально, но надо делать...

@DmitryKey 3 ай бұрын

@@silentage6310 Так парни из набукасы уже сделали, на ESP32-S3 с psarm запускается. Проект называется microwakeword. А за месяц до этого Wyoming satellite для малин выкатили. ww - не основная проблема. Необходимо энергоэффективная аппаратная часть для работы whisper (или что нас там ждет впереди). По хорошему ещё и обработчик на основе llm надо интегрировать, чтоб была свободна формулировки команд, а не по одной согласно шаблона озвучивать. Сейчас народ с помощью chatgpt подобное делает, но это облачно и за прайс. Задел большой

@dNix 3 ай бұрын

@@qMILSTORM эти "древние" amlogic как раз имеют NPU.