Асинхронный Python-код медленнее обычного кода! Ааа!!1один. Aiohttp VS синхронные фреймворки

  Рет қаралды 85,970

Диджитализируй!

Диджитализируй!

Күн бұрын

Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
А точно ли вообще асинхронность в питоне нам нужна? Есть мнение, что старые добрые синхронные веб-фреймворки на Python таки работают быстрее и надёжнее. Давайте проверять!
Две упоминаемые статьи:
habr.com/ru/post/440282/
habr.com/ru/company/ruvds/blo...
0:00 Популярные тесты производительности Python веб-фреймворков
3:49 Разворачиваем проект под тесты
6:39 Запуск тестов Aiohttp
9:05 Запуск тестов Meinheld с Falcon
10:40 Aiohttp сливает, асинхронность отстой:(
11:22 Или нет?
12:02 Изменим тесты и проведём их снова
14:38 Ёлочки-палочки, что происходит? Почему?
17:15 Мультипроцессинг, мультипоточность, асинхронность - когда что использовать?
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на hi@digitalize.team.
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на alexey@salesbeat.pro.
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e...

Пікірлер: 394
@t0digital
@t0digital 4 ай бұрын
Мой курс «Хардкорная веб-разработка» - course.to.digital Вжух!
@starlightx3052
@starlightx3052 3 жыл бұрын
Вспомнился прекрасный ответ со stackoverflow: if io_bound: if io_very_slow: print("Use Asyncio") else: print("Use Threads") else: print("Multi Processing")
@t0digital
@t0digital 3 жыл бұрын
Да!
@karlzinher4181
@karlzinher4181 3 жыл бұрын
что за выравнивание самовольное не по пепу ? :D :atata
@Uni-Coder
@Uni-Coder 3 жыл бұрын
Я бы написал "Use threads OR asyncio if you are used to", при относительно быстром IO можно и async использовать, если вам привычнее. Да и вообще, в клиент-серверных приложениях в современном контексте async должен быть по умолчанию.
@ziminf1997
@ziminf1997 3 жыл бұрын
@@karlzinher4181 Почему не по пепу?
@karlzinher4181
@karlzinher4181 3 жыл бұрын
@@ziminf1997 не заморачивайтесь :) визуально три пробела показывает %) а по факту 4ре))) верстка в хроме зачетная тут
@user-kx6hz3sr9f
@user-kx6hz3sr9f 3 жыл бұрын
Очень здорово придумал подачу. Поставлена задача и все ручками решается прямо при зрителе. На мой взгляд очень полезно, особенно начинающим.
@t0digital
@t0digital 3 жыл бұрын
Спасибо! Рад, что полезно!
@romantsaregorodtsev9993
@romantsaregorodtsev9993 3 жыл бұрын
Это что получается. Опять нужно головой думать исходя из задачи вместо того, чтобы использовать "самый быстрый фреймворк". Во дела...
@user-eg8li6no4u
@user-eg8li6no4u 3 жыл бұрын
И использовать языки для нужных задач. Во дела)) Согласен)) А то получается, словно унитаз вилкой чистить)))
@GexPlayerMD
@GexPlayerMD 3 жыл бұрын
Ага. Неприятная ситуация для тех, кто пишет свои проекты бездумной копипастой с гугла...
@allallall2321
@allallall2321 3 жыл бұрын
Смотрите ХАудихо там все ответы на вопросы!
@dmitryponyatov2158
@dmitryponyatov2158 3 жыл бұрын
или сменить платформу на Elixir/Phoenix, тогда точно придётся думать -- в языке нет циклов 8) но того стоит - полноценная многозадачка, а nginx перед ним _мешает_ работать
@lalalf4535
@lalalf4535 2 жыл бұрын
@@user-eg8li6no4u класс
@user-tk8cm3km9t
@user-tk8cm3km9t 3 жыл бұрын
Поигрался с этими тестами и обнаружил, что выдаваемые ими RPS прямо пропорциональны доступному количеству соединений с БД. В тестах для синхронных фреймворков используется пул psycopg2, но в них он абсолютно бесполезен. Каждый воркер будет использовать лишь одно соединение из пула: взял соединение, выполнял запрос, вернул соединение в пул. Т.о. получается потолок для синхронных фреймворков: 12 воркеров * 1 соединение * 5 запросов в секунду (по 0.2) = 60 rps. С асинхронными фреймворками ситуация иная. После того, как воркер взял соединение из пула и отправил в него запрос он не ждёт ответ из БД, а берет второе соединение, третье и т.д., пока не загрузит весь свой пул работой. По умолчанию, максимальный размер пула aiopg составляет 10 соединений. Итог: для асинхронных соединений потолок в этих тестах составляет: 12 воркеров * 10 соединений * 5 запросов в секунду (по 0.2) = 600 rps. В свете этого, цифры, показанные тестами, не значат ничего конкретного, т.к. получены в разных условиях. Зато они отлично отражают подход. Ради смеха, я решил сравнять количество доступных соединений к БД для двух фреймворков. Для асинхронного Sanic я использовал 4 воркера, то есть 40 соединений. Для Flask пришлось создать 40 воркеров =) В обоих кейсах я получил ожидаемые 200rps. Но какой ценой! 40 процессов для Flask стоили мне в сумме 900Mb памяти. А 4 процесса Sanic - 90Mb.
@ivantolkachev
@ivantolkachev Жыл бұрын
Тоже самое хотел написать, просто нужно в синхрон добавить воркеров и можно получить такой же результат.
@user-pg8ry1tm3t
@user-pg8ry1tm3t Жыл бұрын
Прекрасный анализ. Спасибо
@user-pg8ry1tm3t
@user-pg8ry1tm3t Жыл бұрын
То есть получается из-за того, что сипитон однопоточный, поэтому синх использует только один тред в воркере… или нет? Я не питонист…
@ase_ventura
@ase_ventura 3 жыл бұрын
Ой, вот прям в нужное время.. Вот как раз таких крутых видео не хватает. А то везде видео с маркетинговыми заголовками, а здесь всё круто и по делу. Спасибо за контент! Продолжайте в том же духе.
@user-yo5qp8mi7o
@user-yo5qp8mi7o Жыл бұрын
Спасибо за труд! Смотрю с удовольствием.
@user-cn5pd6do9n
@user-cn5pd6do9n 3 жыл бұрын
Спасибо за видео! Очень информативно
@TeppopucT
@TeppopucT 3 жыл бұрын
Разрушители мифов в мире IT. Классная демонстрация! Спасибо!
@_t4g
@_t4g 3 жыл бұрын
Твои ролики это топ)они странным образом побуждают после просмотра разобраться самому и углубиться в тему ролика!Это по настоящему прекрасно, спасибо тебе.
@t0digital
@t0digital 3 жыл бұрын
Спасибо! Эта самая правильная реакция:)!
@georgestatefield
@georgestatefield Жыл бұрын
Это видео было полезным, как и другие Алексей - молодец!
@Vlad-user-hjcgxffxhnjvhhcy
@Vlad-user-hjcgxffxhnjvhhcy 3 жыл бұрын
11:00 - 11:20 Сыграно АГОООНЬ! Аж слёзка подкатила! )) Классный канал!
@kubenet
@kubenet 3 жыл бұрын
Крутое видео!) Приятно было услышать корректность и адекватность выполнения тестов, ведь у каждой задачи свои требования и ограничения как программные так и аппаратные. Нельзя провести один, два теста и сказать кто лучше справляется. Ведь тест отражает только один маленький частный случай из всего многообразия возможных вариантов.
@79fz270704
@79fz270704 3 жыл бұрын
Лайк за хорошие рекомендации!
@LewaSGN
@LewaSGN 3 жыл бұрын
Очень полезно и доходчиво! Спасибо, буду иметь ввиду.
@t0digital
@t0digital 3 жыл бұрын
💪💪💪
@kannykl7575
@kannykl7575 3 жыл бұрын
Пришёл не по уведомлению, а по зову сердца Спасибо за топ контент!
@t0digital
@t0digital 3 жыл бұрын
спасибооо!
@user-mh6dz7bd8o
@user-mh6dz7bd8o 3 жыл бұрын
@@t0digital Привет, в видео по типу прошлого, про многопоточность, мне кажется было бы лучше вставлять картинки для большего понимания, подобные темы легче воспринимать с помощью изображений. Успехов)
@t0digital
@t0digital 3 жыл бұрын
@@user-mh6dz7bd8o да, согласен. Дорасту до монтажера, видосы вообще станут вкусняшкой:)
@vitalik100500q
@vitalik100500q 3 жыл бұрын
Классное видео. Спасибо!
@rumartru
@rumartru 3 жыл бұрын
На многих ресурсах видел перевод статьи про асинхронность. Спасибо за разбор!
@t0digital
@t0digital 3 жыл бұрын
Рад, что полезно!
@maxshishkn
@maxshishkn 3 жыл бұрын
Лёха все супер, продолжай радовать котанов мяу 😻
@gnompirogov9259
@gnompirogov9259 Жыл бұрын
спасибо за подробный разбор
@sevashpun
@sevashpun Жыл бұрын
Спасибо за видео!
@rkozom
@rkozom 3 жыл бұрын
Круто! Спасибо!
@TheFomars
@TheFomars 3 жыл бұрын
На синхронном сервере при 12 воркерах и 200 мс теоретический предел - 60 рпс. Чтобы выжать из него больше, надо поднимать число воркеров
@user-lz3ez3nn4j
@user-lz3ez3nn4j 3 жыл бұрын
Классное видео, спасибо
@StoGigovo
@StoGigovo 3 жыл бұрын
Алексей, продолжай, я на твоих видео такими темпами стану Мидлом!)
@user-oh8oq4oz7d
@user-oh8oq4oz7d 2 жыл бұрын
Очень грамотный и доходчивый контент.
@t0digital
@t0digital 2 жыл бұрын
спасибо!
@staskomar
@staskomar 3 жыл бұрын
Чувак жги, всегда лайк))
@t0digital
@t0digital 3 жыл бұрын
спасибооо!
@user-zc5lk2fv9r
@user-zc5lk2fv9r 3 жыл бұрын
Интересно, спасибо!
@t0digital
@t0digital 3 жыл бұрын
Спасибо!
@drygdryg2
@drygdryg2 Жыл бұрын
Спасибо, очень интересно и полезно. Было бы интересно увидеть тест с участием asyncpg вместо aiopg. Также интересно, как правильно профилировать приложения, чтобы понимать, на что уходит больше всего процессорного времени: на ввод-вывод, либо на вычисления, и сколько на что из этого уходит.
@user-ci8ll4kx4i
@user-ci8ll4kx4i 3 жыл бұрын
Круто! Ума нет считай - тормоз во всем!!!!! Видео очень полезно понравилось
@vb3039
@vb3039 2 жыл бұрын
Очень интерестно :)
@evgenibasov9545
@evgenibasov9545 2 жыл бұрын
Офигенно 👍
@doskuloff
@doskuloff 3 жыл бұрын
В очередной раз спасибо Вам, Алексей! Ну а я все еще в комнате ожидания DRF😂
@t0digital
@t0digital 3 жыл бұрын
однажды будет и DRF
@senatortre7326
@senatortre7326 3 жыл бұрын
Диджитализируй! Раз пошла пляска (великолепная кстати) с асинхронном, можно скомбинировать темы и заменить дрф на ФастАпи
@staticintsolo1939
@staticintsolo1939 3 жыл бұрын
как нельзя кстати сейчас стоит задача как то ускорить процесс отправки запросов к смтп серверу, а то после 30-ого скорость растет будто по факториалу, и тут контент.. годнота!
@adilzhan8282
@adilzhan8282 3 жыл бұрын
Очень интересное и полезное видео! Буду ждать еще подобных видео!) И есть просьба, если возможно, пожалуйста объясняй, кратко, всякие термины, которые могут быть кому-то не известно)) Я например не знаю что такое трейды( Я понимаю что есть гугл, но просто отвлекаться что бы найти и понять каждый термин как-то не очень)
@t0digital
@t0digital 3 жыл бұрын
в прошлом видео как раз было о том, что такое треды, процессы, асинхронность, основные термины
@adilzhan8282
@adilzhan8282 3 жыл бұрын
@@t0digital а, оу, я его смотрел, но успел забыть) Спасибо!
@demos998
@demos998 3 жыл бұрын
Очень полезно!!!
@antonmullakhmetov707
@antonmullakhmetov707 3 жыл бұрын
Спасибо!
@user-fs5md2gd9u
@user-fs5md2gd9u 3 жыл бұрын
Спасибо за материал! Интересно посмотреть меняется ли ситуация при использовании микросервисов в докере. И скейлинг горизонтальный. Что лучше поместить в этом случае в докер, aio или стандартпый фреймворк. Для увеличения показателей qps.
@Igor-if7sx
@Igor-if7sx 3 жыл бұрын
Уф, заметил, что не все твои видео со своих трех акков лайкнул, а не, показалось. Лайкнул каждое по три раза..)
@t0digital
@t0digital 3 жыл бұрын
Йеее:) Спасибо! 💪
@ilyasbutaev3830
@ilyasbutaev3830 3 жыл бұрын
Было бы интересно послушать про event loop от вас
@eb6006
@eb6006 3 жыл бұрын
У тебя такто все темы интересные ))
@t0digital
@t0digital 3 жыл бұрын
Спасиб:) будем продолжать
@user-ni4vw6yw8b
@user-ni4vw6yw8b 3 жыл бұрын
Отличная работа!
@t0digital
@t0digital 3 жыл бұрын
спасибо!
@OlegKuzminov
@OlegKuzminov 3 жыл бұрын
Шикарный момент на, 11:10! :)
@alexgladkov7996
@alexgladkov7996 3 жыл бұрын
Спасибо
@bolatmukashev2830
@bolatmukashev2830 2 жыл бұрын
А можно видео про то чем отличается многопроцессинг, многопоточность и асинхронность? С примерами на Python
@Uni-Coder
@Uni-Coder 3 жыл бұрын
Асинхрон же придумали именно для IO-нагруженных задач, естественно, в них и надо тестировать и сравнивать (мелким шрифтом: формально, есть асинхронные операции и для CPU-нагруженных задач, см. C#, но мы же знаем, что многопоточность и CPU-нагруженные задачи - это не про Python). Упс, написал до того, как просмотрел до 16:20 и тем более 17:58. Да, просто полностью согласен
@denissemikin2683
@denissemikin2683 3 жыл бұрын
Досмотрел видео до конца. Да, aiohttp работает хорошо когда доставили sleep, но заметьте что wrk на aiohttp возвращает 59 респонсов не с 200-300 статус кодами. Поэтому он показал цифры быстрее конечно, но при этом респонсы некоторые были невалидные вообще.
@zzshek
@zzshek 2 жыл бұрын
спасибо
@user-sn7pp1uz6m
@user-sn7pp1uz6m 3 жыл бұрын
17:45 мне кажется это свойственно не только питону, это в общем так работает
@user-lg6dt3jf1j
@user-lg6dt3jf1j 3 жыл бұрын
Мхатовская пауза в середине очень понравилась! Аж сердце замерло, неужели думаю,... и в самом деле... асинхронный Питон полный отстой... Ан нет! Живём-с :)
@user-gt6ik3se8n
@user-gt6ik3se8n 2 жыл бұрын
Я думаю, что даже в примере, когда запрос долгий, можно сказать, что синхронный ВОЗМОЖНО будет быстрее. Стоит различить две ситуации: когда база данных находится на той же машине, что и сервис, и когда они разделены. Показанный пример - это пример, когда они разделены (запрос в бд не нагружает железо сервиса). Но если запрос в бд будет активно нагружать железо сервиса, асинхронные фреймворки не будут уже так себя комфортно чувствовать. Хотя много зависит от запроса: он может быть на чтение большого кол-во данных, а может на построение новой сложной структуры...
@slukinkostja2064
@slukinkostja2064 2 жыл бұрын
Все вроде бы так, да есть один нюанс. Вы бы количество воркеров во тором тесте для синхронного кода раз в 10 увеличили бы. Глядишь результат интересней мог получился.
@Anatolii_V_Novikov
@Anatolii_V_Novikov Жыл бұрын
Правильнее тестировать/измерять на реальном проекте, как есть. А синтетические тесты - как дополнение, на всякий случай (граничные случаи).
@user-kh7nl8sv1j
@user-kh7nl8sv1j 3 жыл бұрын
Всегда стоит учитывать время разработки / дебага / поддержки кода, не скажу новость, но асинхронный код в разы сложнее писать / дебажить / тестировать. Если у вас большая нагрузка то кажется вообще проще от питона отказаться в пользу других языков, ибо проблем с asyncio очень много, синхронный питон имеет свою нишу в которой он правда лучший для задач, а вот какую нишу занимает async python и чем он лучше аналогов не понятно, кажется на нем сейчас пишут просто по привычке
@user-xh9gg8ev3y
@user-xh9gg8ev3y 2 жыл бұрын
Хорошо что досмотрел а то уже расстроился.
@googleadmin4749
@googleadmin4749 2 жыл бұрын
Красавчик
@volodiaagadjanov7087
@volodiaagadjanov7087 3 жыл бұрын
Это слишком очевидно, логично, что при синхронном выполнении эти 200мс будут суммироваться с временем выполнения А в ассинхронном - эти 200мм будут раскидываться на количество потоков
@Bisirsky
@Bisirsky 2 жыл бұрын
Я вот тоже не понял. А нельзя было реальные запросы потестить(?)
@artemstroev3149
@artemstroev3149 3 жыл бұрын
Очень захотелось увидеть результат Django на sleep 0,2
@ernest.rakhmatulin
@ernest.rakhmatulin 2 жыл бұрын
🔥
@vovergg
@vovergg 3 жыл бұрын
Если я правильно понимаю, то асинхронность - это та же самая синхронность, но в которой действия выполняются не по прямому порядку, а согласно условно расставленым приоритетам, в результате которых некоторые действия ожидают своей очереди выполнения по заданным условиям. Если это так, то понятно, по каким причинам может быть мнение, что асинхронность работает медленнее, чем синхронность.
@dmitryn.4506
@dmitryn.4506 3 жыл бұрын
Огромное спасибо за разъяснение!!! Ох уж эти холивары: придумывают синтетический тест, никак не соотносящийся с реальностью, получают какие-то результаты, не анализируют, а просто возводят в абсолют, и потом орут на весь мир, что это - гамно и это - гамно и мнение хрен оспоришь ! 😪
@prepyev
@prepyev 3 жыл бұрын
Спасибо, как раз вовремя! P.S. На столе PocketBook 740?
@t0digital
@t0digital 3 жыл бұрын
Он самый:)
@prepyev
@prepyev 3 жыл бұрын
@@t0digital Хе-Хе, долго искал эту обложку под принт на домах у нас у Бутово, узнал :))
@t0digital
@t0digital 3 жыл бұрын
@@prepyev а что за принт на домах у Бутово?
@prepyev
@prepyev 3 жыл бұрын
​@@t0digital ​ Чет мне как-то показалось, видосы канала из офиса в БЦ "Лотос", вот и подумал может соседи. А принт вот этот etaloncity.ru/about/news/3238/ Кацусики Хокусая
@t0digital
@t0digital 3 жыл бұрын
@@prepyev о, не видел это принт на зданиях. Мне нравится эта картина, кайфовая. Видосы из Лотоса, да:)
@maxsvetlychny8081
@maxsvetlychny8081 3 жыл бұрын
Как всегда спаcибо за видео! Небольшой оффтоп вопрос - не страшно запускать код какого-то постороннего чувака под своим юзером? У меня обычно для этого заготовлена песочница на firejail. Это нормальное решение или паранойя?)
@t0digital
@t0digital 3 жыл бұрын
ну в целом паранойя лишней не бывает:)
@user-ie9yg8ff3n
@user-ie9yg8ff3n 3 жыл бұрын
Non-2xx or 3xx responses: 59 - для теста с aiohttp и эмуляцией запроса в базу 200 ms. Получается, что из 100 запросов с 200 статусом вернулся ответ для 41 запроса. Я правильно понимаю?
@djbaldey
@djbaldey 3 жыл бұрын
1. Для синхронных серверов нужно не только воркеры, но и нити увеличивать, чтобы по-полной заюзать проц, так как это делают асинхронные сервера. 2. Если ваш сервис работает в основном только над такими долгими запросами в базу - значит вы что-то не так "съархитектурили" или не предусмотрели. 3. Асинхронщина хороша только в некоторых местах вашего сервиса, что автор ролика и доказал. Поэтому, если важна производительность, то пишите проект, используя оба подхода.
@cyrilanisimov
@cyrilanisimov 3 жыл бұрын
Мораль - доверяй (статьям), но проверяй
@t0digital
@t0digital 3 жыл бұрын
так и есть
@vrabosh
@vrabosh 3 жыл бұрын
1. Я как понял форк запускает несколько скриптов, т.е. подымает несколько серверов и каждому по очереди скармливает http даннные запросы.. если так, то запусти на синхроно, 100 форков и посмотри что будет. т.е. пока там 200мс простаивает, другие скрипты же могут выполнятся.. 2. Когда идет синхроная обработка, то и запросы в БД идут синхроно, а значит БД не загружена, и будет выполнятся по той скорости как будто 12 запросов в БД одновременно, что снижает нагрузку на процессор и будет быстрее выполнятся.. как в асинхроности это может быть 1000 запросов к БД, что реально будет делать 200мс... Все выше доводы говорят о том, что тесты не 100% верны. Еслиб вы написали реально реализацию с БД, где от одного запроса идет выполнения скрипта 200мс, хотябы просто селект без индексов, тогда бы тесты былибы адекватными. А пока первый вариант где синхроность выглядит более реалистично, посути на реальном примере, пускай и банальном.. т.е. если у когото такой банальный пример, простой чат-бот, то синхроность как я понял лучший вариант.
@user-md3nz9hy8z
@user-md3nz9hy8z 3 жыл бұрын
Там слишком много неизвестных. Где находится база данных (на том же компьютере или нет) и как реализована задержка в селекте, где расположен источник запросов... От этого зависит распределение нагрузки по ядрам. И почему именно 10 или 12 ? По числу ядер надо создавать (и клиента в том числе). Потому как увеличение количества процессов более количества ядер приведет лишь к увеличению накладных расходов на переключение и снижению быстродействия. А поскольку в асинхронном режиме нет переключения потоков, то и лишних затрат на переключение контекста нет, но это абсолютно не значит, что асинхронное быстрее. Надо выяснять реализацию, как построены фреймворки.... без этого это "гадание на кофейной гуще".
@vrabosh
@vrabosh 3 жыл бұрын
@@user-md3nz9hy8z да ты прав.
@blackcatdevel0per
@blackcatdevel0per Жыл бұрын
17:57 А как же asyncqt? Например у меня в синхронном qt может подвисать интерфейс при выполнении какой-то задачи кнопкой и конечно я могу обойтись тредами и многопроцессорностью, но в некоторых задачах(даже не связанных с сетью) асинхронность сильно экономит ресурсы и работает лучше, но тут уже всё зависит от конкретной задачи
@artemhrytsenko1353
@artemhrytsenko1353 3 жыл бұрын
17:12 - синхронные*
@nitroflap
@nitroflap 3 жыл бұрын
Чисто мне было бы интереснее про юнит тестинг в питоне. Ибо нагруженные сервера никто на питоне не будет делать, для этого вон есть Go, Java, C# и другие с рутинами и корутинами...
@ruzin-kokoc
@ruzin-kokoc 3 жыл бұрын
Алексей - молоток! Однако, хотелось бы услышать еще объяснение "почему так". Попробую объяснить, как сам понимаю и почему считаю, что утверждение "асинхроный код работает быстрее" - это миф. Допускаю, что у моего объяснения много допущений и неточностей, тем не менее. Процессор - один, полезную нагрузку, которую надо посчитать - одна и та же. Тогда с какой стати задача будет решена быстрее, если ее решать "поперек", а не "вдоль"? Т.е. одна задача в принципе асинхронно не может быть решена быстрее чем синхронно. Тогда почему говорят, что асинхронно можно решать быстрее? Так говорят про поток задач. Асинхронное выполнение позволяет "пропустить" через процессор больше задач в единицу времени. Всегда? Нет. Если задачи завязаны на процессор - нет, не позволяет. А если на ввод/вывод - теоретически - да. Если мы сразу запустим N задач - каждая из которых будет ждать ввода-вывода, то N задач могут выполниться параллельно быстрее, чем если их решать последовательно одну за другой. А какими способами можно запустить параллельное решение задач? - процессы - треды - event-loop с epoll (async await) Разница между ними в накладных расходах (и удобстве программирования). В двух первых из них за переключением между задачами следит ОС. Она же гарантирует, что каждой задаче будет уделено какое-то время. В последнем - за переключением следите вы сами, организуя свое приложение. А можно ли не использовать async await, но устроить event-loop? Можно, например, используя greenlet'ы greenlet.readthedocs.io/ Какие накладные расходы? Запуск нового процесса это всегда: а) накладные расходы на память б) дополнительные (и не дешевые) системные вызовы. в) межпроцессное взаимодействие (передача задания и результатов) Треды чуть "легче"" и память разделяемая, но со своими "удобствами", например, в Python'е их сложно принудительно остановить снаружи (не из самого треда). Event-loop'ы самые "дешевые", но достаточно сложные в организации кода. Кроме всего прочего, еще нужно иметь ввиду GIL (Global Interpreter Lock), который не позволяет нескольким threads работать одновременно в Python. Касательно тестов, которые провел Алексей. У нас все запросы "одинаковые": запрос - пауза 200 мс - ответ. Async-await работает прекрасно и на одном ядре CPU можно выполнить хоть 10000 таких запросов в секунду. Т.е. каждый запрос потребляют 0.0001 CPU. Latency этих запросов будет ~200 мс (ожидание ввода-вывода). Теперь, представим себе, что каждому 100-у запросу требуется CPU на 2 секунды. Т.е. мы ожидаем что в среднем теперь требуется ~0.02 CPU. И мы можем ожидать выполнения ~50 запросов в секунду. Попробуем взглянуть, что произойдет с обработкой этих запросов в действительности. Первые 50 запросов, пришедших в первую секунду отдадутся через 200 мс, каждый. Вторый 50 запросов, пришедших во вторую секунду отдадутся через 200 мс, каждый, за исключением последнего, которые отдастся через 2 секунды. Третьи 50 запросов, пришедших в третью секунду отдадутся через 2 секунды, каждый, т.к. им придется ждать, пока 100-й запрос отдастся, а потом они смогут вернуть свой результат. Четвертые 50 запросов, пришедших в четвертую секунду отдадутся через 2 секунды, каждый, т.к. им тоже придется ждать, пока отработает 100-й запрос, А 200-й запрос задержится на 2 секунды. Все запросы за исключением первых 99 будут отдаваться теперь за 2 секунды вместо 200 мсек. Т.е. казалось бы async-await должен "помочь", но вместо этого, он "выравнивает" latency по самому медленному (запросу) (Строго говоря, если запросы приходят равномерно, то первые из 100 будут ждать 2 секунды, а последние всего около 200 мсек, т.е. в среднем все же меньше чем 2 секунды) Выводы: Я не к тому, что нельзя использовать async-await, но к тому, что написание таких обработчиков требует особой внимательности - ни один из них не должен быть CPU-bound - иначе все усилия могут потрачены впустую. Так надо использовать async-await? Не попробуешь - не узнаешь. Но если у вас разнообразные обработчики, то как минимум нужно CPU-bound обработчики искусственно прерывать, давая возможность "пропустить" IO-bound вперед. Это, в свою очередь не увеличивает читаемость кода. Вот пару видео от python-хакера David'а Beazley - будут полезны: kzfaq.info/get/bejne/hcikYNl-u8qxaKc.html kzfaq.info/get/bejne/rrWpfcx_mN-rlok.html
@magictearsasunder
@magictearsasunder 3 жыл бұрын
Хотелось бы посмотреть по ASGI и WSGI в джанге.
@t0digital
@t0digital 3 жыл бұрын
Планирую такой материал
@liubomyr-peteliuk
@liubomyr-peteliuk 3 жыл бұрын
Очень интересно смотреть такие годные вещи от человека который хайпил на том что jQuery устарел. Этим Вы и уникальны. Видео топ! ))
@cyberpoet
@cyberpoet 3 жыл бұрын
jquery умер
@garrygaller2853
@garrygaller2853 3 жыл бұрын
@@cyberpoet Блин, прикинь я его только вчера видел... Живее всех живых.
@cyberpoet
@cyberpoet 3 жыл бұрын
​@@garrygaller2853 прямо как Ленин в мавзолее )
@garrygaller2853
@garrygaller2853 3 жыл бұрын
@@cyberpoet Ну Ленин, положим, просто лежит. А JQuery работает. Причем в твоем браузере, когда ты, например, поисковик открываешь. Так что рано ты старичка похоронил. Он еще и тебя переживет...
@cyberpoet
@cyberpoet 3 жыл бұрын
@@garrygaller2853 это в каком же таком поисковике его используют? Кажись, только на говносайтиках остался. Если в вашей конторе пишут в 2020 на jquery и ничего не слышали ни про react, ни про angular, ни про vue или другие современные фреймворки, я вам глубоко сочувствую, но это ещё ни о чём говорит. Но когда-нибудь вы повзрослеете и научитесь писать код, а не эту вермишель, надеюсь!
@cyberblogru
@cyberblogru 3 жыл бұрын
Слушал обсуждение этого поста в подкасте Радио-Т (кстати, заметь). Они там не особо хвалили aiopg. Говорили, что asyncpg дал бы результаты лучше
@t0digital
@t0digital 3 жыл бұрын
Да, возможно, опять же надо тестить
@vandriichuk
@vandriichuk 2 жыл бұрын
Спасибо за видео. А чем записываете экран когда пишете код, чтобы было прозрачно?
@t0digital
@t0digital 2 жыл бұрын
Просто режим наложения слоя скринкаста какой-то в монтажке
@user-fu4sy5bm2t
@user-fu4sy5bm2t 3 жыл бұрын
Читал эту статью сразу после выхода на хабре, очень смешно было, когда чел тестит без какой-либо бизнес логики
@poematization
@poematization 3 жыл бұрын
В доках на aiohttp указывают, что гуникорн работает медленнее других решений. Интересно было бы увидеть тесты на это.
@t0digital
@t0digital 3 жыл бұрын
slightly, как они говорят. Без гуника настраивается - nginx и systemd, который стартует несколько процессов с aiohttp
@user-mr2jk1ss9d
@user-mr2jk1ss9d 3 жыл бұрын
@@t0digital Насколько будет лучше если Gunicorn запустить через aiohttp.GunicornUVLoopWebWorker, а aiopg заменить на asyncpg? )
@trankov
@trankov 2 жыл бұрын
Мне кажется, этот тот случай, когда надо чекнуть теорию раньше, чем практику. Очевидно же, что асинхронка это техника параллельного выполнения задач в ситуации избыточного времени ожидания. Соответственно, если просто осознать этот факт, то и тесты станут не нужны. Хотя для видео, естественно, живые тесты это очень круто.
@yahton309
@yahton309 Жыл бұрын
Однако из теории следует что ∀task speed(async_release(task)) >= speed(sync_release(task)), но это явно не всегда правда - реализация асинхронности хромает.
@user-ro2do2uh5y
@user-ro2do2uh5y 3 жыл бұрын
Агонь.
@t0digital
@t0digital 3 жыл бұрын
спасибо
@user-fz5hk4xr3w
@user-fz5hk4xr3w 3 жыл бұрын
Пушка
@BadekYO
@BadekYO 3 жыл бұрын
Раз уж пошла такая пьянка, было бы интересно услышать от автора канала про внедренную (если не ошибаюсь, то с версии 3.1 уже полностью) в Django асинхронность. Использовали ли они его в более ранних версиях (возможно в dev-версия не для продакшена), можно ли её уже внедрять в Django проекты, и соответственно сам фреймоворк гордо величать асинхронным, или все же подождать ещё годок другой, пока сделают по уму. Сам питонист, но не в вебе кручусь, а вот про Джанго было бы интересно послушать от человека, который в этом варится. И да, как всегда - спасибо за контент.
@TheExcentro
@TheExcentro 3 жыл бұрын
Orm пока не асинхронный. Вот когда сделают, будет агонь:)
@olegmlavets5216
@olegmlavets5216 3 жыл бұрын
В 4 версии будет
@PaulP738
@PaulP738 3 жыл бұрын
Давно думал: как можно организовать код на Джанге, используя чистую архитектуру?
@sorokousov
@sorokousov 3 жыл бұрын
В реальности, из 100 запросов 80 будут простыми. Поэтому использовать aiohttp нужно только там, где это действительно(!) нужно.
@vrabosh
@vrabosh 3 жыл бұрын
да. надо комбинировать. Некоторые запросы типа insert delete на которых работа с БД заканчивается и ответ от них не важен, можно кидать в асинхроность. Также отпавка сообщения в телеграм тоже в асинхроность.
@user-ch76tcye4vvuu8
@user-ch76tcye4vvuu8 3 жыл бұрын
Что тут у нас? 58 rq/sec... Было 12 потоков http сервера. Получается, что одновременно (параллельно) выполняется не более 12 запросов, остальные выстраиваются в очередь перед сервером. Каждый запрос выполняется 200мс => поток выполняет до 5 rq/sec. 12*5 = 60 rq/sec (минус 2 rq/sec на прочие потери). В асинхронном же поток, пока ждет результата от базы, уже выполняет следующий запрос. По максимуму утилизирует ресурсы.
@FRA1T
@FRA1T 3 жыл бұрын
Диджитализируй! Уважаемый Алексей, с особым интересом смотрю все Ваши учебные видео-уроки и уже узнал очень много нового, за что Вам огромное человеческое спасибо! У меня есть вопрос касаемо вынесения бизнес-логики из вьюшек. Вы всё время твердите, что бизнес-логику нужно выносить в сервисы, например, с чем я очень хочу согласиться, но что делать, если вьюшки основаны на классах, а не на функциях (как во всех рассматриваемых Вами примерах)? Неужели такие методы, как get_queryset, get_context_data выкидываются? Как поступать в такой ситуации? Заранее благодарю за ответ! P.s. для примера вот такой метод: def get_queryset(self): return Movie.objects.all()
@user-rh3ji8xf5l
@user-rh3ji8xf5l 3 жыл бұрын
это, мягко говоря, странно выглядит, но в рамках примера - выносите в сервисы функцию def get_all_movies(): return Movie.objects.all() которую используйте в методах вьюхи и/или любого другого класса
@FRA1T
@FRA1T 3 жыл бұрын
@@user-rh3ji8xf5l спасибо, но почему это странный вопрос? Обычный метод get_queryset. Значит, в этом методе мне нужно возвращать метод из вашего примера? def get_queryset(self): return get_all_movies()
@user-rh3ji8xf5l
@user-rh3ji8xf5l 3 жыл бұрын
@@FRA1T вопрос не странный. в рамках примера странно (на мой взгляд) выносить что то совсем элементарное, в отдельные функции/сервисы. При наличии какой то логики (хотя бы фильтрация) - да, это имеет смысл. А так да, вы все правильно поняли, в get_queryset возвращаете вызов метода, который вынесли в services
@FRA1T
@FRA1T 3 жыл бұрын
@@user-rh3ji8xf5l благодарю за ответ, теперь чувствую себя лучше от знаний!
@bladeserful
@bladeserful 3 жыл бұрын
А почему собственно при изменении запросов заново не подобрали количество воркеров? Так как запрос выполняется долго, то процесс выполняющий запрос почти не грузит систему. Соответственно банальное увеличение количества воркеров должно сильно улучшить текущие результаты синхронных систем, да и асинхронных тоже. Я требую продолжения банкета!
@dmitryponyatov2158
@dmitryponyatov2158 3 жыл бұрын
есть такой стек Eixir/Phoenix (язык поверх Эрланг-машины, лучшая многозадачность из всех языков) -- который специально был сделан авторами на замену Ruby/Rails можете по собственному опыту сравнить впечатления?
@dmitryponyatov2158
@dmitryponyatov2158 3 жыл бұрын
самый известный тул, написанный на Эрланг -- это RabbitMQ, известный своей эффективностью в проде
@vrabosh
@vrabosh 3 жыл бұрын
Попробуйте первые примеры сделать БД с полем строковым допустим 5 символов, сгенерить случайно.. и потом сделать поиск строки на 5 символов тоже случайно.. И выложьте результаты... это будет более реалистично тогда. Потомучто с замедлением времени, это не рабочий пример.
@t0digital
@t0digital 3 жыл бұрын
Почему нерабочий? Так-то любой пример можно назвать нерабочим, в тч с рандомным выбором строк, тоже в общем не real life задача
@vrabosh
@vrabosh 3 жыл бұрын
@@t0digital простая задержка влияет на загрузку процессора? я думаю, что нет.. а там где нет загрузки проца, естественно выигрывает асинхроность. Либо надо было делать задержку в виде for i in range(10000000000): tmp = i*i, чтобы были вычисления хоть какието. Асинхроность 100% выигрывает, где идет работа с отправкой и получения данных по сети. т.к. там проц не загружен, а ждать надо.. возможно с записью на диск.
@user-nw4tb4ld6u
@user-nw4tb4ld6u 3 жыл бұрын
Здравствуйте! У меня вопрос немного не по теме . Тут пару месяцев назад Гарвард выпустил новый курс бесплатный CS50 посвящённый веб-разаработке на JS и Python. Хотелось бы услышать ваше мнение об этом курсе.
@t0digital
@t0digital 3 жыл бұрын
Здравствуйте, не видел не проходил, но спасибо, что написали, возможно познакомлюсь
@gooseman5578
@gooseman5578 Жыл бұрын
CS50 - это курс по Си. Дно, а не курс. Там подача такая, что до циклов добрались только на 5й лекции. И там уже от курса осталась треть сонного зала. kzfaq.info/get/bejne/ib2PiKarq7WbiGQ.html
@vadimalekseev3621
@vadimalekseev3621 3 жыл бұрын
Может кто-нибудь показать/рассказать как выглядят системные вызовы? Например, в Clang в unistd.h есть функция fork, но как она сообщает ОС, что от неё требуется? Или, например, в go есть куча системных вызовов, вокруг которых построены обертки, но как оно внутри работает? Как сделай кастомный системный вызов без оберток?
@victorklimov5254
@victorklimov5254 3 жыл бұрын
Как понимаю это интерфейс к ядру ОС. Те кто ОС проектируют этот интерфейс предоставляют. Как это на более низком уровне, чем на каком то ЯП написать хз.
@dabuge
@dabuge 3 жыл бұрын
Люди любят тестить нечто в вакууме. А если оно подтверждает их убеждения, так вообще прекрасно. Это просто особенность человеческого сознания. Нужно во что-то верить. Они не виноваты ))
@gh8499
@gh8499 3 жыл бұрын
Где-то я уже это слышал
@Uni-Coder
@Uni-Coder 3 жыл бұрын
Рандомизированная выборка, слепой эксперимент, исключение прочих факторов и желательно сидящий рядом специалист по статистике.
@mexico76
@mexico76 3 жыл бұрын
Здравствуйте! А что вы можете сказать про asgi в django? Это ведь связано с асинхронностью, может это выход для данного фреймворка?
@t0digital
@t0digital 3 жыл бұрын
Джанго ведёт работу над переводом в асинхронность, но я не думаю, что в обозримом будущем джанго сможет стать полностью асинхронным и что вообще хочет этого
@Spaz_Rabbit
@Spaz_Rabbit 3 жыл бұрын
С I\o bound нужно юзать не трединг, мультипроцессинг, потому что треды лочатся в таких задачах из-за GIL
@t0digital
@t0digital 3 жыл бұрын
Да
@alexanderkukuta410
@alexanderkukuta410 3 жыл бұрын
Очень некорректный тест с pg_sleep(0.2). Для синхронного сервера получилось так, как и должно: 12 / 0.2 = 60, для асинхронного же тест некорректен, т.к. все зависит от настроек и загруженности postgresql.
@t0digital
@t0digital 3 жыл бұрын
Настройки pg одинаковы для обоих тестов
@user-dk9bi2ls2q
@user-dk9bi2ls2q 3 жыл бұрын
Коммент. Тнеммок. Продвигаем.
@Bandera_tut
@Bandera_tut 3 жыл бұрын
интересно-интересно, но, там же щас джанго асинхронный клепают, будет какое видео обсуждение об этом? или еще сами не пробывали тыкать туда?
@t0digital
@t0digital 3 жыл бұрын
Будет видео, но пока рано говорить об асинхронном джанго, и не факт, что когда-то об этом можно будет говорить полноценно
@DanielLuchin
@DanielLuchin 3 жыл бұрын
А что использовать если есть задача скопировать кучу файлов по smb?
@eb6006
@eb6006 3 жыл бұрын
14:59 =))
@vrabosh
@vrabosh 3 жыл бұрын
Надо гибридно делать, а не все тупо асинхроно, там где реализация обрабатывается макросикунды, там не использовать асинхроность, там где милисикунды, там уже впихивать асинхроность... Например в бд, если это селект который мгновено отработает как в примере у автора, то его в синхроный поток, если это допустим инсерт какойнить который надо запустить и забыть про него без проверок на оишбку, такое можно в асинхроно запустить, или допустим надо чат-боту сообщение отправить, и не важно что он вернет, то естественно асинхроно. Потомучто какая разница ядру на 4 ядра дать 100 задачь асинхроно всеравно он будет тупить.. А вот допустим 1 ядро загрузить полностью синхроностью, а остальные 3 ядра загружать асинхроными пускай уже не 100 задачами, а 10 всеволишь, то вот тут уже будет круто. А это уже вопрос как проектировать так проекты, чтобы грамотно распределять время.. Мне кажется за этим будущее.. А не тупо все кидать в асинхроность.
@user-jx6di3ix9o
@user-jx6di3ix9o Жыл бұрын
Короче, проще говоря, понимайте суть вещей ребята(для чего они создавались, для упрощения или ускорения каких ситуаций). В программировании всё придумывается на основе опыта. Понимая суть, включите голову, не понимая сути, идите получать опыт, чтобы её понять)
原来小女孩在求救#海贼王  #路飞
00:32
路飞与唐舞桐
Рет қаралды 66 МЛН
Glow Stick Secret (part 2) 😱 #shorts
00:33
Mr DegrEE
Рет қаралды 32 МЛН
Useful Gadget for Smart Parents 🌟
00:29
Meow-some! Reacts
Рет қаралды 10 МЛН
О дивергенциях/конвергенциях без ерунды
22:59
Меняла. Блог валютного трейдера
Рет қаралды 109
Основы Asyncio
53:25
Python Russian
Рет қаралды 9 М.
Python Asyncio, Requests, Aiohttp | Make faster API Calls
17:56
Patrick Collins
Рет қаралды 121 М.
Про базовый фундамент в разработке веб-приложений
10:52
原来小女孩在求救#海贼王  #路飞
00:32
路飞与唐舞桐
Рет қаралды 66 МЛН