빅데이터 아키텍처에서 하둡 플랫폼과 카프카의 역할|HDFS, SPARK, KAFKA

  Рет қаралды 13,395

데브원영 DVWY

데브원영 DVWY

2 жыл бұрын

빅데이터 아키텍처에서 하둡 플랫폼을 빠트릴 수 없는데요. 하둡 플랫폼으로 사용되는 HDFS, spark를 살펴보고 카프카는 어떤 용도로 사용되는지 알아보겠습니다.

Пікірлер: 22
@JungHam
@JungHam 2 жыл бұрын
오늘도 영상 잘 봤어요! 현업에서 단계적으로 도입해서 카프카까지 갈 수 있도록 공부 자극이 되었어요.
@arthuman2007
@arthuman2007 2 жыл бұрын
잘봤습니다 좋은 강의내용에 감사드립니다. 무엇보다도 눈에 확 들어오는 자막처리때문에 아주 좋았습니다. ^^
@DevWonYoung
@DevWonYoung 2 жыл бұрын
피드백 감사합니다!
@user-hr3tn9jg8p
@user-hr3tn9jg8p 2 жыл бұрын
덕분에 카프카 너무 잘 쓰고 있어요 ㅎㅎ
@wooyoungchoi5683
@wooyoungchoi5683 2 жыл бұрын
잘 배우고 갑니다 :) 감사해용
@user-oz1ut6qe7k
@user-oz1ut6qe7k Жыл бұрын
내용이 굉장히 좋아요! 그런데 자막 뒤에 제스쳐를 너무 크고 많이 하셔서 시선이 분산 되는 거 같아요 ㅠ
@DevWonYoung
@DevWonYoung Жыл бұрын
피드백 감사합니다!
@skytree21
@skytree21 8 ай бұрын
제스쳐는 안하시거나 중요할때 적절하게 하시는게 좋을 것 같아요.
@s2kima
@s2kima Жыл бұрын
좋은 강의 감사합니다. (오지랖)근데 손을 너무 많이 움직이니까 보기 좀 불편해여... 필요할때 조금만 움직이면 좋을듯요~~~
@user-ec1rr8ci5h
@user-ec1rr8ci5h 2 жыл бұрын
2019년 카프카 영상부터 접했는데 최신영상보니 분위기가 달라졌당... (더좋다)
@user-ig6en7fr3t
@user-ig6en7fr3t 2 жыл бұрын
안녕하세요! 데이터 엔지니어 준비하고있는 아직 초보인 학생입니다 ..! 원래 윈도우 쓰다가 맥북 m1을 얼마전에 구매했는데 힘든 점이 많아서요 ㅜㅜ 예전에 맥북 쓰신다고 영상올리신거 기억나서 여쭤봅니다. utm에 리눅스를 깔고 그 위에 하둡과 스파크를 돌리고 있었는데 스파크랑 연결하려고 mongodb 설치하는 순간부터 에러가 나더니 그 이후로 가상머신 접속이 안되네요..ㅎㅎ 저랑 비슷한 에러를 겪으신 분들을 봤는데 해결은 다들 못하신거 같더라고요 arm이 mongodb와 호환이 안되는 걸까요 ..? 혹시 리눅스 사용하실 때 어떤 가상머신 사용하시나요? utm버리고 패러렐즈 구매도 생각하고 있는데 애초에 arm이랑 호환이 안되는 건가 싶어서 어떻게 해야하나 막막합니다 ㅠㅠㅠㅠ
@DevWonYoung
@DevWonYoung 2 жыл бұрын
안녕하세요! 일부 솔루션의 경우 silicon apple m1칩에 대응하여 소프트웨어가 동작하지 않을 가능성도 있습니다. 이 경우 사용하시는 소프트웨어의 qna를 통해 문의하셔야 할것 같습니다. ㅜㅜ 그리고 저는 따로 리눅스나 페러랠즈는 사용하고 있지 않습니다.
@sophiiisticated
@sophiiisticated 2 жыл бұрын
HDFS를 쓰는 회사면 cloud provider를 안쓰는건가요? 만약 aws위에 인프라가 깔려있는데, s3을 쓸 수 있는데도 불구하고 HDFS를 사용해야하는 케이스가 생기는지 궁금합니다
@DevWonYoung
@DevWonYoung 2 жыл бұрын
AWS를 사용한다면 대부분의 경우 EMR의 HDFS보단 S3를 사용하는 사례가 많을 것으로 보입니다. 하지만 HDFS를 사용한 레거시 코드가 많다면(기존 온프레미스로 인해) Cloud provider를 사용하더라도 HDFS를 활용한 경우도 있을 수 있습니다.
@sophiiisticated
@sophiiisticated 2 жыл бұрын
@@DevWonYoung 아하 레거시........ 언제나 가장큰 짐덩이죠 감사합니다!
@Raaaaabin
@Raaaaabin 2 жыл бұрын
보통 기업에서 HDFS와 Kafka 도입 검토할때 기술지원을 받으려면 클라우데라나 컨플런트를 고려해야 되나요?
@DevWonYoung
@DevWonYoung 2 жыл бұрын
주변 사례를 보면 그렇다고 말씀드릴 수 있습니다.
@reallt1061
@reallt1061 4 ай бұрын
안녕하세요 취업한지 1년도 되지 않은 신입 자바 백엔드 프로그래머입니다. 저희 회사 도메인이 결제가 주 시스템이라 이 영상 내용이 정말 와닫는데요.. 저는 python 기초는 어느정도 알고 있다고 생각하는데 hdfs를 익힌 뒤 spark와 kafka중 어느것을 학습하는게 좋을지 여쭤보고 싶습니다.
@DevWonYoung
@DevWonYoung 4 ай бұрын
데이터 엔지니어로써 성정하기 위해서는 둘다 빠져서는 안될 중요한 기술이라고 생각합니다. 그래서 우선적으로 업무에 필요한 기술의 비중을 두고 수행하면 될것 같습니다. 어느것을 시작하시든 나중에는 둘다 공부하시게 될 확률이 높습니다!
@user-lc8yw4mk6l
@user-lc8yw4mk6l 10 ай бұрын
내용은 좋은데 손을 넘 억지로 많이 움직이시는 거 같아요ㅜㅠㅠ
@DevWonYoung
@DevWonYoung 10 ай бұрын
피드백 감사합니다!
УГАДАЙ ГДЕ ПРАВИЛЬНЫЙ ЦВЕТ?😱
00:14
МЯТНАЯ ФАНТА
Рет қаралды 4,2 МЛН
路飞被小孩吓到了#海贼王#路飞
00:41
路飞与唐舞桐
Рет қаралды 83 МЛН
Alex hid in the closet #shorts
00:14
Mihdens
Рет қаралды 13 МЛН
Ch08_01.빅데이터 저장과 처리(하둡이란)01
10:49
강서대학교 빅데이터경영학과 이상철 교수
Рет қаралды 13 М.
하둡소개
8:28
생활코딩
Рет қаралды 42 М.
SQL On Hadoop 분석 도구인 Hive와 Impala는 어떤 차이가 있을까?
9:04
투이컨설팅-투이톡
Рет қаралды 2,9 М.
Это Xiaomi Su7 Max 🤯 #xiaomi #su7max
1:01
Tynalieff Shorts
Рет қаралды 2 МЛН
iPhone, Galaxy или Pixel? 😎
0:16
serg1us
Рет қаралды 1,3 МЛН
Самые крутые школьные гаджеты
0:49
Красиво, но телефон жаль
0:32
Бесполезные Новости
Рет қаралды 1,5 МЛН
Сколько реально стоит ПК Величайшего?
0:37
iPhone 15 Pro Max vs IPhone Xs Max  troll face speed test
0:33