빅데이터 아키텍처에서 하둡 플랫폼을 빠트릴 수 없는데요. 하둡 플랫폼으로 사용되는 HDFS, spark를 살펴보고 카프카는 어떤 용도로 사용되는지 알아보겠습니다.
Пікірлер: 22
@JungHam2 жыл бұрын
오늘도 영상 잘 봤어요! 현업에서 단계적으로 도입해서 카프카까지 갈 수 있도록 공부 자극이 되었어요.
@arthuman20072 жыл бұрын
잘봤습니다 좋은 강의내용에 감사드립니다. 무엇보다도 눈에 확 들어오는 자막처리때문에 아주 좋았습니다. ^^
@DevWonYoung2 жыл бұрын
피드백 감사합니다!
@user-hr3tn9jg8p2 жыл бұрын
덕분에 카프카 너무 잘 쓰고 있어요 ㅎㅎ
@wooyoungchoi56832 жыл бұрын
잘 배우고 갑니다 :) 감사해용
@user-oz1ut6qe7k Жыл бұрын
내용이 굉장히 좋아요! 그런데 자막 뒤에 제스쳐를 너무 크고 많이 하셔서 시선이 분산 되는 거 같아요 ㅠ
@DevWonYoung Жыл бұрын
피드백 감사합니다!
@skytree218 ай бұрын
제스쳐는 안하시거나 중요할때 적절하게 하시는게 좋을 것 같아요.
@s2kima Жыл бұрын
좋은 강의 감사합니다. (오지랖)근데 손을 너무 많이 움직이니까 보기 좀 불편해여... 필요할때 조금만 움직이면 좋을듯요~~~
@user-ec1rr8ci5h2 жыл бұрын
2019년 카프카 영상부터 접했는데 최신영상보니 분위기가 달라졌당... (더좋다)
@user-ig6en7fr3t2 жыл бұрын
안녕하세요! 데이터 엔지니어 준비하고있는 아직 초보인 학생입니다 ..! 원래 윈도우 쓰다가 맥북 m1을 얼마전에 구매했는데 힘든 점이 많아서요 ㅜㅜ 예전에 맥북 쓰신다고 영상올리신거 기억나서 여쭤봅니다. utm에 리눅스를 깔고 그 위에 하둡과 스파크를 돌리고 있었는데 스파크랑 연결하려고 mongodb 설치하는 순간부터 에러가 나더니 그 이후로 가상머신 접속이 안되네요..ㅎㅎ 저랑 비슷한 에러를 겪으신 분들을 봤는데 해결은 다들 못하신거 같더라고요 arm이 mongodb와 호환이 안되는 걸까요 ..? 혹시 리눅스 사용하실 때 어떤 가상머신 사용하시나요? utm버리고 패러렐즈 구매도 생각하고 있는데 애초에 arm이랑 호환이 안되는 건가 싶어서 어떻게 해야하나 막막합니다 ㅠㅠㅠㅠ
@DevWonYoung2 жыл бұрын
안녕하세요! 일부 솔루션의 경우 silicon apple m1칩에 대응하여 소프트웨어가 동작하지 않을 가능성도 있습니다. 이 경우 사용하시는 소프트웨어의 qna를 통해 문의하셔야 할것 같습니다. ㅜㅜ 그리고 저는 따로 리눅스나 페러랠즈는 사용하고 있지 않습니다.
@sophiiisticated2 жыл бұрын
HDFS를 쓰는 회사면 cloud provider를 안쓰는건가요? 만약 aws위에 인프라가 깔려있는데, s3을 쓸 수 있는데도 불구하고 HDFS를 사용해야하는 케이스가 생기는지 궁금합니다
@DevWonYoung2 жыл бұрын
AWS를 사용한다면 대부분의 경우 EMR의 HDFS보단 S3를 사용하는 사례가 많을 것으로 보입니다. 하지만 HDFS를 사용한 레거시 코드가 많다면(기존 온프레미스로 인해) Cloud provider를 사용하더라도 HDFS를 활용한 경우도 있을 수 있습니다.
@sophiiisticated2 жыл бұрын
@@DevWonYoung 아하 레거시........ 언제나 가장큰 짐덩이죠 감사합니다!
@Raaaaabin2 жыл бұрын
보통 기업에서 HDFS와 Kafka 도입 검토할때 기술지원을 받으려면 클라우데라나 컨플런트를 고려해야 되나요?
@DevWonYoung2 жыл бұрын
주변 사례를 보면 그렇다고 말씀드릴 수 있습니다.
@reallt10614 ай бұрын
안녕하세요 취업한지 1년도 되지 않은 신입 자바 백엔드 프로그래머입니다. 저희 회사 도메인이 결제가 주 시스템이라 이 영상 내용이 정말 와닫는데요.. 저는 python 기초는 어느정도 알고 있다고 생각하는데 hdfs를 익힌 뒤 spark와 kafka중 어느것을 학습하는게 좋을지 여쭤보고 싶습니다.
@DevWonYoung4 ай бұрын
데이터 엔지니어로써 성정하기 위해서는 둘다 빠져서는 안될 중요한 기술이라고 생각합니다. 그래서 우선적으로 업무에 필요한 기술의 비중을 두고 수행하면 될것 같습니다. 어느것을 시작하시든 나중에는 둘다 공부하시게 될 확률이 높습니다!