Урок по Data Science разбор Kaggle для начинающих / AutoML LAMA / Optuna

  Рет қаралды 21,024

miracl6

miracl6

Күн бұрын

Курс по Data Science pymagic.ru
Мое сообщество ВКонтакте pymagic
Telegram t.me/pymagic
Соревнования на Kaggle www.kaggle.com/c/nyc-taxi-tri...
Таймкоды:
00:00 Разбор соревнования на Kaggle
00:28 Кратко о чем ролик - AutoML LAMA, подбор гиперпараметров при помощи Optuna
00:52 Обзор соревнования Kaggle - New York City Taxi Trip Duration
01:48 Импорт данных, какие еще внешние данные понадобятся и как их скачать
02:52 Смотрим на данные
03:38 EDA - Разведочный анализ данных
04:08 EDA. Анализ основных статистик, выбросы
06:07 Feature engineering, добавление новых признаков, трансформация текущих
08:33 Анализ распределения целевой переменной, логарифмирование
09:30 Анализ и удаление выбросов
10:49 EDA. Анализ признаков (длительность от часа, когда была начала поездка и т д), корреляция
12:12 Подготовка к обучению модели LightGBM
13:07 Построение целевой функции для Optuna для оптимизации гиперпараметров
15:04 Поиск оптимальных параметров при помощи Optuna, визуализация
16:43 Обучаем итоговую модель на подобранных параметрах, смотрим значение метрики RMSLE
17:43 AutoML LAMA с чего начинать / Создание задачи, ролей, структуры модели
20:03 Обучение при помощи AutoML LAMA / Подбор моделей / Анализ результатов
22:49 Feature importance у модели LightGBM and Optuna
23:40 Feature importance у AutoML LAMA
24:59 Сообщество PyMagic в ВКонтакте
Группа в ВКонтакте pymagic
Telegram t.me/pymagic
#DataScience #Kaggle

Пікірлер: 51
@rrahll
@rrahll 2 жыл бұрын
Шикарно! Спасибо, Анастасия! Очень интересны подобные задачи/видео/туториалы.
@Alexdoletsplay
@Alexdoletsplay 2 жыл бұрын
Спасибо большое за ваш труд, очень помогает
@MrBolat777
@MrBolat777 2 жыл бұрын
Эх, если бы у меня была такая жена, мой дом был бы полностью автоматизирован, а вместо передач мы бы смотрели как оптимизировать то, что уже невозможно оптимизировать :P
@linkernick5379
@linkernick5379 2 жыл бұрын
"Был бы у меня такой кот, я, может, и не женился бы никогда"😄
@andreyfly4331
@andreyfly4331 2 ай бұрын
От таких баб, которые считают себя умными, надо держаться подальше))
@aleksgor1408
@aleksgor1408 2 жыл бұрын
Отличный разбор. Многое для себя подчеркнул, повторив проект. Давно хотел с Lama поразбираться, что то попробовать). Код нравится, красиво и четко).
@VirVen
@VirVen 2 жыл бұрын
Спасибо за отличное видео. Всё по полочкам)
@t.voronova
@t.voronova Жыл бұрын
Большое спасибо! Очень выручил пример с Optuna!
@ehrlich6795
@ehrlich6795 2 жыл бұрын
Настя. Сижу, я значит, слушаю вас и повторяю все в кэггле в ноутбуке и тут заходит моя мама. Спрашивает, что за симпатичная такая девушка? Я ей - да вот, уроки интересные преподает. Она мне - да ладно, я что не знаю, какие уроки? - каждый день ее уроки смотришь. Так что вы моей маме очень понравились :-)
@NoName-rb6fj
@NoName-rb6fj 2 жыл бұрын
Хотелось бы видео по теме features selection и feature engineering. Особенно в больших датасетах, так как при небольшом количестве переменных можно каждую из них "прощупать", а тысячу переменных тяжело перелопатить? Или в таких ситуациях ответственность за разные части датасета распределяется между разными людьми? И по поводу выбора и оценки категориальных переменных.
@LameTroll
@LameTroll 2 жыл бұрын
Спасибо большое!!!
@user-rj5jy4hz8o
@user-rj5jy4hz8o 2 жыл бұрын
Отличный разбор! Подчеркнула для себя море полезного! Подскажите, если я в начале изучения ML, где можно посмотреть разбор с примером гридсерч?
@user-iq2ic3mh9z
@user-iq2ic3mh9z 2 жыл бұрын
Настя молодец :)
@denisshavaleev9553
@denisshavaleev9553 2 жыл бұрын
Сколько просмотров, а лайков мало, ай ай ай редиски!
@lolplsdiethxbye3445
@lolplsdiethxbye3445 2 жыл бұрын
💜 привет из kz!
@eprohoda
@eprohoda 2 жыл бұрын
суперск. сьемка- коллег-а
@ilyaelper8323
@ilyaelper8323 Жыл бұрын
Отличное видео !!! Спасибо большое . У меня вопрос связанный с логорефмированьем . Меня учили что логорефмировать надо train и test вместе . Вы делаете отдельно . Буду рад если кто-то разъяснит мне этот вопрос Спасибо 😊
@askuznecoff
@askuznecoff 5 ай бұрын
Спасибо, что не Ирисы)
@Daniilfirst
@Daniilfirst 2 жыл бұрын
Вопрос может не совсем теме данного ролика, но хотел спросить. Писали ли вы Автотесты для проверки работы нейроной сети? Для ui, api это делать достаточно легко.
@k.r.k.
@k.r.k. 2 жыл бұрын
Боже мой, какая красавица!☺
@user-bx8ef5vj4e
@user-bx8ef5vj4e 2 жыл бұрын
Привет! Объясни, пожалуйста, почему ты сама реализуешь алгоритм кросс-валидации, а не используешь тот же cross_val_score?
@NoName-rb6fj
@NoName-rb6fj 2 жыл бұрын
👍👍👍
@RichardTheLionJokes
@RichardTheLionJokes 7 ай бұрын
Здравствуйте. Не могу нигде найти файлы fastest_routes_train_part_1.csv и fastest_routes_train_part_2.csv. На kaggle не доступны(
@olgafedyanova
@olgafedyanova 2 жыл бұрын
А есть видео о Вашей истории? Кем Вы были до дэйта сайнс, кто по образованию и почему выбирали такое образование, как пришли к DS и во сколько лет, какая база математики и программирования была, почему решили идти именно туда и почему не разочаровались, какие "точки" в своем обучении говорили Вам, что это "ваше"? И сколько времени заняло переобучение (обучение)?
@olgafedyanova
@olgafedyanova 2 жыл бұрын
@@miracl6 спасибо огромное. С удовольствием послушала. Анастасия, ваш набор на вашем курсе закончился. Можете посоветовать репетиторов в тебе DS?
@olgafedyanova
@olgafedyanova 2 жыл бұрын
@@miracl6 спасибо. Ваш набор откроется только через 6 месяцев теперь или можно как-то пораньше попасть?
@arkadiyburdin855
@arkadiyburdin855 Жыл бұрын
ПАМАГИТЕ!! ) застрял на этапе функции для перевода расстояния. Импортнул все библеотеки, но когда выполняю функцию пишет вот что "NameError: name 'radians' is not defined", как будто нет этого модуля?! ВТФ??!!
@user-wo7pu5dg9k
@user-wo7pu5dg9k 2 жыл бұрын
Наперед извините за комплимент-Вы очень красивая.... я не смог ничего усвоить, кроме того, как смотреть на Вас и ваши красивые глаза...)😍
@aleksgor1408
@aleksgor1408 2 жыл бұрын
Можно выложить куда то файлы fastest_routes_train_part_1.csv и fastest_routes_train_part_2.csv.?? На Kaggle они не доступны и нигде не нахожу.
@aleksgor1408
@aleksgor1408 2 жыл бұрын
@@miracl6 спасибо. А панда паралел. Он под линкс, и мак идёт. ? Под Винду я так понимаю эта библиотека не работает ?
@RichardTheLionJokes
@RichardTheLionJokes 7 ай бұрын
Здравствуйте, смогли найти файлы?)
@aleksgor1408
@aleksgor1408 7 ай бұрын
@@RichardTheLionJokes да, они где то в других соревнованиях kaggle вроде. По названию вроде нашел. Уже точно не помню.
@osvab000
@osvab000 2 жыл бұрын
fastest_routes_train_part_1.csv и fastest_routes_train_part_2.csv - где можно взять эти файлы?
@osvab000
@osvab000 2 жыл бұрын
@@miracl6 Kaggle пишет 404, увы. Наверное уже поздно. Хотелось поюзать код, но придется воспринимать только на слух.
@artyomkarlashov1845
@artyomkarlashov1845 2 жыл бұрын
@@miracl6 Здравствуйте, Анастасия. Делаю все по инструкциям , другие файлы скачиваются. Но к сожалению на этих ответ 404. Есть ли возможность взять их с другого ресурса?
@RichardTheLionJokes
@RichardTheLionJokes 7 ай бұрын
Смогли найти файлы?)
@user-zm1ek7fj2j
@user-zm1ek7fj2j 2 жыл бұрын
Здравствуйте, Анастасия! Можете, пожалуйста, отправить мне эти два файла(к примеру, ссылкой на диск). Не получается их загрузить с kaggle. fastest_routes_train_part_1.csv fastest_routes_train_part_2.csv
@user-zm1ek7fj2j
@user-zm1ek7fj2j 2 жыл бұрын
@@miracl6 да, получил. Но не выходит :(
@user-zm1ek7fj2j
@user-zm1ek7fj2j 2 жыл бұрын
@@miracl6 404 - Not Found на обе попытки скачивания
@user-zm1ek7fj2j
@user-zm1ek7fj2j 2 жыл бұрын
@@miracl6 спасибо огромное :)
@RichardTheLionJokes
@RichardTheLionJokes 7 ай бұрын
Здравствуйте, смогли найти файлы?)
@kirillsemenov1690
@kirillsemenov1690 2 жыл бұрын
Спасибо, хороший полезный разбор. Единственное - feature произносится как фИчер, не фьючер😬Немного режет слух…
@damiru.4686
@damiru.4686 2 жыл бұрын
Привет! Расскажи, пожалуйста, как ты видишь будущее data science в РФ в сценарии, если зарубежные компании не вернутся на наш рынок
@damiru.4686
@damiru.4686 2 жыл бұрын
@@miracl6 спасибо!
@su30mk30
@su30mk30 2 жыл бұрын
So clever, smart, professional and attractive woman. I watch your videos non-stop, very informative and usefull. Thank you very much
@netdefender3944
@netdefender3944 2 жыл бұрын
Вы очень красивая 😊
@user-oc7py1vy6s
@user-oc7py1vy6s 2 жыл бұрын
Смотрю видео только из-за Анастасии.
@enikeevevgeny
@enikeevevgeny 2 жыл бұрын
Анастасия, спасибо за классные и полезные видео. Но сейчас хотелось бы от тебя услышать твое мнение о развязанной Путиным войне. К сожалению настал тот день когда политика пришла к каждому и позиция "меня это не касается" - это молчаливая поддержка приступного режима, который развязал агрессивную войну...
@enikeevevgeny
@enikeevevgeny 2 жыл бұрын
@@miracl6 Я с первого дня выходил на площади, можешь убедиться в этом в моем fb, ссылка есть моем профиле (24 и 26 февраля). Я не в коем случае НЕ призываю тебя (можно та ты?) выходить на площадь, но ты можешь сказать своей аудитории о том как ты относишься к этой войне, потребовать власть прекратить военную агрессию (на пример).
@enikeevevgeny
@enikeevevgeny 2 жыл бұрын
@@miracl6 ок, на Вы так на Вы... ) Анастасия, беда в том что война - это уже не политика. Это преступление. А блогеры, которые продолжают пилить видео как ни в чем не бывало выглядят для меня очень странно. Ладно, фиг с ним с гуманизмом, наверное не все люди ощущают ответственность за то что творит армия их страны. Но Вы же образованный человек, Вы видите тот объем санкций, который был наложен! Ясно же что через год, если ничего не изменится - страна превратится в Северную Корею... (
@user-tp7km5ll2l
@user-tp7km5ll2l 2 жыл бұрын
Понимаю что бесполезно дурака учить, но отвечу этому гуманоиду. Где ты был со своим гумманизмом когда сша и нато бомбили югославию, ирак, сирию и тд? Одноклеточные
Iron Chin ✅ Isaih made this look too easy
00:13
Power Slap
Рет қаралды 36 МЛН
ML Was Hard Until I Learned These 5 Secrets!
13:11
Boris Meinardus
Рет қаралды 252 М.
Time Series Forecasting with XGBoost - Advanced Methods
22:02
Rob Mulla
Рет қаралды 116 М.
Пять пунктов, которые помогут понять, подходит ли Вам Data Science.
4:18
Alanovna vlog. Мой путь в Data Science.
Рет қаралды 2,3 М.
25 Nooby Pandas Coding Mistakes You Should NEVER make.
11:30
Rob Mulla
Рет қаралды 264 М.
Why you should not be a data scientist
12:33
Tina Huang
Рет қаралды 756 М.
Дофамин. Хакни мозг и измени жизнь за 7 дней.
13:36
Iron Chin ✅ Isaih made this look too easy
00:13
Power Slap
Рет қаралды 36 МЛН