📣 안내 드립니다. (23년 3월) 본 강의에서 다루는 쿠팡, 네이버 웹툰, 티스토리 등 웹 스크래핑 대상 사이트들은 강의 촬영 시점 이후에 지속적인 업데이트 및 개편으로 인해 페이지가 변경되었습니다. 또한 selenium 버전이 올라감에 따라 일부 기능은 더 이상 사용할 수 없게 된 부분도 있습니다. 이에 따라 실습 내용 중 많은 부분을 따라하기 힘든 문제가 발생하고 있습니다. 새롭게 강의를 수강하시는 분들은 이 점을 감안하셔서 학습 부탁드리며, 강의에서 보여드리는 모든 실습을 따라하기보다는 당시의 페이지 상황에 따라 어떻게 접근할 수 있는지에 대한 이해도를 높이는 목적으로 강의를 활용 부탁드립니다. 학습에 불편드려 대단히 죄송합니다. --------------------------------------------------------------- [웹 스크래핑 변경사항] 1. "티스토리"는 UserAgent 를 변경하지 않아도 정상적으로 html 을 받아옵니다. 2. "네이버"는 로그인 시도 시 자동입력방지 문자 입력 페이지가 뜹니다. 우회방법으로 자바스크립트를 이용하는 방법이 소개된 링크를 참고해주세요. jaeseokim.github.io/Python/python-Selenium을-이용한-웹-크롤링-Naver-login-후-구독-Feed-크롤링/ 3. "쿠팡" 강의 내용 확인 결과 일부 항목이 웹에서 접근했을 때와는 조금 다르게 가져오는듯 합니다. 확인 결과 화면 중 약 80% 는 정상, 20%는 페이지에 존재하지 않는 값을 가져옵니다. (어쩌면 다음 페이지에 나오는 내용일 수도 있습니다) 또한 80% 의 항목도 웹 페이지와는 달리 순서가 조금 뒤죽박죽 섞인듯 보입니다. requests 만 써서 가져왔을 때 쿠팡에서 반환해주는 값에 차이가 있는듯한데, selenium 을 통한 결과를 비교해볼 필요가 있어 보이네요. 수업 시간에 결과 내용에 대해 전수 검사를 해볼 생각을 미처 해보지 못하여 내용에 오류가 있었던 점, 진심으로 사과 드립니다. 4. "프로젝트" 강의 내용 중 네이버 뉴스를 가져올 때 500 Server Error 가 나고 있습니다. 이 때는 requests 에 headers 로 여러분 PC 의 user-agent 를 넣어주시면 됩니다. (예시) def create_soup(url): headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36"} res = requests.get(url, headers=headers) res.raise_for_status() soup = BeautifulSoup(res.text, "lxml") return soup ----------------------------------------------------------------------------- 아래 블로그에서 소스코드를 받으실 수 있습니다. nadocoding.tistory.com/10 다음은 웹 스크래핑 목차입니다. 열심히 공부하시는 여러분들, 정말 대단합니다. ^^ [기본기] (0:00:00) 0.Intro (0:00:16) 1.소개 (0:02:03) 2.활용편3 소개 (0:07:26) 3.HTML (0:16:51) 4.XPath (0:28:12) 5.크롬 (0:31:45) 6.Requests (0:39:26) 7.정규식 기본 1 (0:50:52) 8.정규식 기본 2 (0:58:56) 9.User Agent (1:06:40) 10.BeautifulSoup4 기본 1 (네이버 웹툰) (1:18:37) 11.BeautifulSoup4 기본 2 (1:28:13) 12.BeautifulSoup4 활용 1-1 (가우스 전자) (1:39:26) 13.BeautifulSoup4 활용 1-2 (1:47:55) 14.BeautifulSoup4 활용 2-1 (쿠팡) (2:00:11) 15.BeautifulSoup4 활용 2-2 (2:05:35) 16.BeautifulSoup4 활용 2-3 (2:15:22) 17.BeautifulSoup4 활용 2-4 (2:22:44) 18.BeautifulSoup4 활용 3-1 (다음 이미지) (2:31:46) 19.BeautifulSoup4 활용 3-2 (2:41:09) 20.CSV 기본 1 (네이버 금융) (2:49:55) 21.CSV 기본 2 (2:56:21) 22.Selenium 기본 1 (3:07:45) 23.Selenium 기본 2 (3:13:43) 24.Selenium 심화 (네이버 로그인) (3:21:40) 25.Selenium 활용 1-1 (네이버 항공권) (3:33:40) 26.Selenium 활용 1-2 (3:39:15) 27.Selenium 활용 2-1 (구글 무비) (3:50:17) 28.Selenium 활용 2-2 (4:00:39) 29.Selenium 활용 2-3 (4:10:39) 30.Selenium 활용 2-4 (4:15:24) 31.Headless 크롬 (4:23:38) 32.Wrap Up [퀴즈] (4:32:21) 33.퀴즈 (다음 부동산) [프로젝트] (4:43:13) 34.프로젝트 (4:48:49) 35.오늘의 날씨 (네이버 날씨) (5:02:06) 36.헤드라인 뉴스 (네이버 뉴스) (5:10:26) 37.IT 일반 뉴스 (네이버 뉴스) (5:18:22) 38.오늘의 영어회화 (해커스 영어) (5:27:25) 39.Outro

님은 천재이자 나의 영웅임.. 진정으로 감사 합니다. 많은 도움이 되였습니다.

본 영상 중 Selenium과 관련하여, 파이썬 최근 버전을 사용하시는 분들(3.7 이상)의 경우에는 find_elements_by_~~가 아닌, find_element(by.~~, "~")로 작성하셔야 정상적으로 작동합니다.

나도코딩님 이번 강의도 감사히 잘 시청하겠습다. ~~ 최고최고최고.. ^^

기초6시간교육부터 양질의 강의 정말 감사합니다. 이번 강의도 완강을 목표로!

정말 좋은 강의 너무 감사합니다. 기초편부터 계속 공부하고 있고 덕분에 Python에 대해 깊이 있게 나아갈 수 있는 바탕이 되고 있다고 생각합니다. 계속 열심히 시청하겠습니다.

강의 잘 듣고 있습니다. 구글링, 유튜브 등을 통해 단편적으로 알고 있던 내용들이 총정리되어 진심으로 감사드립니다. 항상 좋은 일만 가득하시길 바랍니다~^^

정말 하나도 군더더기 없이 깨끗하고 전달이 잘 되는 강의입니다. 짧은 시간에 정말 많이 배웠습니다.

비전공자에게 정말 단비같은 영상!!

목차를 세심하게 나눠서 타임라인 설정해 주셔서 어느정도 배경지식이 있는 사람은 좀 더 빠르게 볼 수 있는것 같아요 진짜 정말 감사합니다 ㅠㅠ

코딩의 천사가 돌아오셧다 드디어ㅠㅠ 감동입니다

2:45:00 정말 대단하십니다. 감사한 마음으로 공부하겠습니다!

파이선 강좌 중 단연 최고입니다. 정말 잘 짜여진 내용과 어마어마한 분량 너무 힘드셨을 텐데 감사합니다. 다음 머신러닝 편도 기대하겠습니다.~

ㅋㅋㅋㅋㅋ 재생시간봨ㅋㅋㅋㅋㅋㅋ 러닝타임 실화냐 라면서 와 이거 개고생 했을껀대라는 생각이 먼저드네요. 좋은 재능기부 감사해요.

역시...오늘도 재미있고 유익한 강의군요!!! 오늘도 잘 보고갑니다

좋은 강의 너무 감사합니다 !! 이거 보면서 열심히 따라하고 있는데 아직 모르는건 많지만 하나씩 성공할때마다 정말 뿌듯해지네요 계속 좋은 강의 많이 부탁드립니다

활용편3 너무나 기다렸습니다!!!!! 좋은 강의 올려주셔서 항상 감사합니다

감사합니다 크게되실겁니다...

고퀄 강의를 무료로 제공해 주셔서 감사합니다.

강의별로 파일을 명확히 나눠서 진행해주셔서 너무 좋은거같습니다~

완강했습니다. 이제 실습해야겠네요. 다음 업무 자동화 강의 정말 정말 기대하고 있습니다. 이렇게 좋은 강의 올려주시고 막히는 부분 답변도 빨리 해주시고... 재능기부 정말 감사합니다!!

재능기부 감사합니다. 강의 너무 잘 보고 있어요~ 이번 강의도 빨리 실습해야겠네요. 다음 강의도 기대할게요^^

도서관에서 근무하고 있는데 덕분에 업무의 80퍼센트는 자동화 시킨 것 같아요. 좋은 강의 감사합니다~! 빨리 뇌를 쥐어 짜서 나머지 활용편 강의도 해주세요 ^..^

차근차근 가르쳐 주셔서 정말 감사합니다! 다음강의도 정말 기대돼요 :D

진정한 실력자, 최고입니다. 감사합니다.

진짜 댓글을 달지 않을래야 안달을수가 없을정도입니다. 정말 유튜브 강좌중에 최고입니다!! 저도 프로그래머이긴 하지만 웹프로그래머가 아니라 파이썬 크롤링 자료를 찾아봐도 이렇게 상세하고 자세하게 설명된 강좌가 없었는데, 정말 긴시간동안 상세하게.... 설명해주시니 감동입니다. 또 강의하시는 목소리도 아주 듣기 좋고요.. 강의듣는 분들을 위해 매 스크립트 마다 삭제하지 않고 주석으로 남겨놓는등... 강의 스킬이 엄청 나신것 같습니다. 너무 좋은 영상봐서 기분 좋습니다^^ 앞으로도 좋은 영상 부탁드리겠습니다~ 꾸벅~

2:56:21 강의를 들을때마다 속이 시원하다는 느낌을 받습니다. 궁금했던 내용을 잘 설명해주셔서... 꼭 완강 하겠습니다. 감사합니다.

최고의강의..늘 양질의 영상 정말 감사합니다!!

강의 너무 감사합니다. 차근차근 따라하며 중간중간 에러 잡으며 하다보니 일주일 넘게 걸렸네요. 너무나 쉽게 설명해주시고 무엇보다 바로 응용할 수 있는 코딩들 너무 감사합니다. (혼자 속으로) 다음 강의에 다시 뵙겠습니다~!!!

구독을 안하게 할 수 없는 영상이네요..;; 잘보고 갑니다

Selenium 버전이 업그레이드 되면서 일부 명령어가 변경되었습니다. 변경된 명령어를 사용하려면 아래 코드를 먼저 import해야 합니다. from selenium.webdriver.common.by import By 변경된 명령어들은 다음과 같습니다. button = driver.find_element_by_class_name("quiz_button") button = driver.find_element(By.CLASS_NAME, "quiz_button") element = driver.find_element_by_id("element_id") element = driver.find_element(By.ID, "element_id") element = driver.find_element_by_name("element_name") element = driver.find_element(By.NAME, "element_name") element = driver.find_element_by_link_text("element_link_text") element = driver.find_element(By.LINK_TEXT, "element_link_text") element = driver.find_element_by_partial_link_text("element_partial_link_text") element = driver.find_element(By.PARTIAL_LINK_TEXT, "element_partial_link_text") element = driver.find_element_by_tag_name("element_tag_name") element = driver.find_element(By.TAG_NAME, "element_tag_name") element = driver.find_element_by_css_selector("element_css_selector") element = driver.find_element(By.CSS_SELECTOR, "element_css_selector") element = driver.find_element_by_xpath("element_xpath") element = driver.find_element(By.XPATH, "element_xpath")

와우 다양하게 정리되어있어서 너무 좋네요! 영상을 제작하기 위해 열심히 노력하시는 모습이 보이네요 유익한 강의 감사합니다!!

고맙습니다. 이런 귀한 강의를 또 올려주시다니,,최고의 코딩 유튜버이셔요.^^ 열심히 공부하겠습니다.

인생이거 ㅋㅋㅋ 한참 웃었습니다. 항상 좋은 강의 감사합니다!

25:39 저장. - 6시간짜리 2시간 정도 보다가 실습 한번 해보고 다시 거꾸로 교재 보려고 여기왔습니다.

정말 이해하기 쉽고 머리에 쏙쏙 박히는 강의네요.

강의 정말 유용합니다. 말투가 정말 귀에 쏙쏙 들어오고요. 잘 보고 있습니다!! ^^

이 강의 포인트 인생~ ... 네 이 만화도 있네요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋ 1:31:17 잘 보고 있습니다!

조회수 100만예감 !!! 최고의 유튜버로 추천하고 싶당...

좋은 영상 감사합니다 :) 이 영상으로 도움이 많이 되었어요 !!! 어렵지 않게 쉽게 설명해주셔서 귀에 쏙쏙 들어옵니당 ㅎㅎ 파이썬 코딩 영상을 진짜 많이 봤는데 나도님처럼 쉽게 설명하시는 분은 처음봅니다 ㅠㅠㅠㅠㅠ 데이터 분석 및 시각화영상도 많이 기대하고 있는데 얼른 만날 수 있었으면 좋겠습니다 !!! XD

너무 쉽고 재밌어서 어제 하루만에 다 봤어요. 이렇게 잘 짜여진 강의 영상을 만들어주셔서 감사합니다!

강의가 너무 좋아서, 적은 돈이지만 후원을 하고 싶습니다. 어떻게 하면 되나요?

정말 강의 너무너무 감사해요~!! 진짜 재밌게 공부하고 있습니다!^^

진짜 이건 재능기부가 확실합니다 너무너무 감사합니다!!!

1:31:18 인생... ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

전체적으로 훑어봤는데 중간중간 기본적인 팁들도 있고 실습프로젝트들로 csv,이미지,text들을 스크래핑하는 법에 대해서 자세하게 알려주셔서 유료강의급 퀄리티로 설명이 잘되있네요 ㅎㄷㄷ, 딥러닝 관련 강의는 하실 계획이 없으신가요?

기다려왔던 강의가 올라와서 너무 기쁩니다. 시청전에 먼저 글을 써봅니다.

활용편 3 기다렸습니다!! 열심히 또 배우겠습니다. 좋은 강의 항상 감사드립니다

우와 2번째 댓글이네요 ㅎㅎ '6시간 파이썬' 강좌 듣고 있었는데 신기해요~~

(나코님 강의 최대 단점) 나코님 강의를 듣다보면 다른 사람 강의를 못 듣겠음....(진심) 이 강의만 찾게 됩니다

제가 필요한것만 있는 질좋은 강의였습니다. 감사합니다.

항상 좋은 강의 해주셔서 감사합니다!

솔직히 광고 더나와야함...

나 혼자로는 도 달할 수 없었던 수준도, 코 꿰여 따라가다 보면 딩 동댕 울리는 성공(고수)의 길!

1:18:26 find 1:20:38 next_sibling 1:56:43 정규식 2:34:16 이미지 저장 3:19:25 기존데이터 지우기 4:00:00 자동 내리기

진짜 선생님 복 받으실거에요...... 정말 정말 감사합니다 ㅠㅠ 업무에 바로 적용 할 수 있겠어요!!!!

전공 강의에서 커버하지 못하는 부분을 항상 여기에서 많이 얻어가게 되네요 댓글 잘 안다는 편인데 혼자 구글링하며 끙끙거리던 부분을 무료강의 하나로 해결할 수 있게 되어서 너무 감사하다는 말씀 드리고 싶습니다. 파이썬 활용은 무궁무진하니까 염치없지만 앞으로도 활용강의 꾸준히 올라오길 기대하고 있겠습니다

이번편 엄청 기다렸어요! 감사합니다:)

1:06:44 현재 네이버 웹툰 소속의 웹페이지들에서는 이 내용을 제대로 실습할 수 없군요. with open("gausselectronics.html", "w", encoding="utf8") as f: f.write(res.text) 이런 방식으로 긁어보니 는 다 복사되어 들어오는데 쪽은 하나도 복사되어 들어오지 않습니다. 네이버 웹툰 쪽에서 뭔가를 막아놓은 것인지... 다행히 네이버 부동산에서는 해당 내용들을 실습 가능합니다.

컴공2년차: 처음으로 코딩이 재밌어졌다.

내용이 좋아서 주말에 몰아봤습니다 업무자동화 인공지능 데이터 분석 등 다음 토픽들 너무 기대됩니다 감사합니다

드디어 나왔습니다~!!!!!! 고맙습니다!!!!!!

쿠팡 url 따서 코드 돌리면 왜 안돌아갈까요? ㅜㅜ 다른 페이지는 다 돌아가던데 쿠팡만 url따서 돌리려고하면 안돌아가네오 ㅠㅠ

2:56:21 너무 쉽고 재미있게 잘 설명해주셔서 보다보니 벌써 세시간 가까이.... 다른 곳에서 웹스크래퍼 듣다가 막혀서 기본편 잘 들은 기억으로 여기 찾아왔는데, 잘한 선택이었습니다..

갓도킹딩님 완강했습니다. 프로그래밍언어 아무것도 모르고 파이썬 기본편부터 시작했는데 벌써 이렇게 따라오게 되었네요. 진심으로 도움 많이 됐습니다! 웹스크래핑 능력은 데이터분석이나 업무자동화에 필수인 것 같아요ㅎㅎ. 다음 강의 무척 기대됩니다!! 나도코딩을 교육부장관으로!

이번 영상도 클리어했습니다! 항상 고품질의 강의 영상을 올려주셔서 감사합니다~~~!!!!

좋은 강의 너무 감사합니다. 정말 많은 도움이 되었습니다.

정말 큰 도움 되었습니다. 항상 행복하시고 복받으실거에요!

정말 유익한 강의 잘 보고 갑니다. 다음 강의가 기대 됩니다.

정말 감사합니다!! 제가 들었던 강의 중 최고 강의에요!

정말 체계적으로 잘 가르쳐 주시네요 이미 파이썬으로 웹스크래핑을 어느정도 해봤지만 도움 많이 될 것 같습니다. 시간될때 짬짬히 자주볼게요 좋은 영상 감사합니다!

쉽고 꼼꼼한 강의 정말 잘 들었습니다. 감사합니다. 데이터분석 편 존버해봅니다!

기본편에 더해서, 웹스크래핑 강의까지 매우 감사한 시간이었습니다. 사내에서 쓰는 ERP가 WEB기반이라서 일부 업무를 자동화할 수 있었네요. 코드를 가다듬어야하고, 모듈화해서 정리해야하지만 개인적으로 아주 뜻깊은 성취가 아닐 수 없었습니다. 지금 몇몇 남은 업무 중 GUI 및 엑셀 자동화가 필요한 업무들도 있는데, 너무 기대됩니다. 저는 이제 GUI수업으로 넘어가고, 복습을 좀 해야겠네요 ㅎㅎ

너무나 유익한 영상~ 감사 드려요. 쭉 5시간 짜리 다봤네요 ㅎㅎ 재능기부 감사 드립니다. 좋아요 꾹우우욱 누르고 갑니다!!

금방 기본편 완강했는데...활용편1 시작하려니 3편이 나왔네요. 웹 스크래핑부터 도전해야 겠습니다. 내용도 좋고 목소리도 좋고 정말 감사합니다^^

덕분에 프로그래밍을 재미있게 배우고 있습니다. 감사합니다

선생님... 정말 감사합니다. 덕분에 파이썬 쉽고 빠르게 배우고 있습니다...

이번 강의도 잘 들었습니다. 관심있는 주식정보를 가져와서 그래픽 처리하는거까지 해보고 싶어졌습니다. 왜 이 강의를 본사람들이 극찬할까를 생각해 보니, 우리가 배우는 책과 강의 세미나의 대부분은 성공한 결과만을 가르쳐주는데 이 강의는 날것 그대로 실수하면서 같이 성장하고 있다는 느낌과 할수 있겠다는 자신감과 추가로 더 깊이 알려면 혼자서 무엇을 해보라는 도제방식으로 강의를 해주는 것이라 생각합니다. 강의 내용만이 아니라 여러모로 많은 것을 생각하게 하는 좋은 강의입니다^^

강의 정말 잘 들었습니다. 재밌고 유익하고 최고네요. 감사합니다.^^

감사합니다. 잘 보고 배우고 있습니다.

드디어 활용3편을 완성하셨군요 수고하셨습니다. 지금 비록 일을 하고 있어 빠른 시간에 할 수는 없겠지만 차분히 한단계 씩 해 나가보도록 하겠습니다. 감사합니다.

잘보고 있습니다.

정성스러운 강의 그저 감사할 뿐입니다.. 👍👍

유료 온라인 강의 보다가 포기하고 나도코딩 강의 듣고있습니다. 정말 강의 잘 하십니다.

BeautifulSoup4 까지 끝냈습니다. 이번달까지 웹스크래핑 완강하는게 목표입니다 ! 취업연계학원알아봤고, 다음달말부터 수강할 계획입니다 . 앞으로도 계속 함께하겠습니다 !

덕분에 할 수 있는게 점점 늘어나네요. 재밌고 유익한 강의 늘 감사합니다~

감사합니다 함께할게요!

강의 잘 봤습니다. 그 동안 프로그래밍 언어를 배우기만 하고 이걸 정확히 어디다 쓸지 막막했었는데 이렇게 활용을 하니까 배운 보람도 있고 계속 개발 공부를 하고 싶다는 동기도 생겼네요. 앞으로도 이런 강의를 올려주시면 감사히 잘 보겠습니다.

기다리고 있었습니다. 감사합니다

이정도 긴 시간의 영상을 만드는게 쉽지 않은일인데.. 고생 많으셨습니다.

많이 배우고 갑니다. 또 배우러 오겠습니다 ^^ 고맙습니다 ~~

👍👍👍👍👍👍👍👍👍정말 재능기부네요. 강의 잘 봤습니다. 실습 다 해봤는데 모두 다 실행되네요. 혼자서 직접 코딩을 짜지는 못하지만, 어쨌든 파이썬에 대해 많이 배웠습니다.

좋은 강의 영상 감사합니다 :)

나도코딩 감사해요ㅠㅠ♡♡ 나만의 북마크 1:11:00

와우. 벌써 올라왔네여ㅜㅠㅠ

좋은 강의 감사합니다. 제가 꼭 찾는 강의군요. 복 받으실거예요^^

한국에 돌아와서 자가격리까지 끝냈습니다. 언제나 감사합니다. 열심히 준비해서 취직도 하고 나도코딩님 처럼 멋진사람이 되겠습니다. 바뀐 나도코딩 로고도 멋집니다.

잘 듣고 있습니다. 강의 정말 좋아요~~ 구독완료

나도코딩 선생님 영상 뒷부분 더 보고 해결했습니다!!이런 좋은 영상 제작해주시고 설명도 너무 잘해주셔서 감사합니다!!

기초 강의부터 정말 많은 도움이 되었습니다. 진심으로 감사드립니다....^^