Cấu trúc team Data Engineer? Data Platform Engineer, Data Engineer, Data Analytics Engineer

Рет қаралды 4,440

Ай бұрын

Hello mọi người,
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các bạn phần nào đó bước trên con đường Data này.
Special thanks to: Jay Chua and Larry Xu for the intro video
Music composed by Nhạc sĩ AI - Bảo Đại.

Пікірлер: 83

@glight16 Ай бұрын

lâu lắm rồi mới thấy anh lên lại video. Chúc anh sức khỏe để chóng ra video chia sẻ mới kk

@TinTran-ch9tr 5 күн бұрын

video dễ hiểu quá, cảm ơn A. Chúc A sức khỏe

@quangthinh96 28 күн бұрын

Chào anh, lâu lắm rồi mới thấy anh lên video, bắt đầu xem anh từ hồi mới chập chững học DE để chuyển ngành, nay em mới được nhận vào vị trí fresher rồi, bữa chuẩn bị phỏng vấn có lục lại video của anh để ôn lại kiến thức, cảm ơn anh nhiều. Chúc anh nhiều sức khoẻ và thành công.

@trungkiennguyen4878 29 күн бұрын

Lâu lắm r mới thấy a lên video. Video rất hay. Chúc anh nhiều sức khoẻ

@Charles-my2pb 28 күн бұрын

lâu lắm mới thấy anh lên videos, em theo dõi anh từ hồi năm nhất, qua các kiểu từ research đến applied CV, cuối cùng đang chuẩn bị quay qua làm MLOps thì anh lên video :)) đúng ý trời luôn ạ

@huyle-ve8qi 23 күн бұрын

Xem ông anh từ hồi mình mới chập chững bước vào data giờ cũng thấp thoáng 2.5 năm rùi cảm thấy xem vẫn có động lực theo đuổi data như hồi mới ngày nào

@PhanNguyen_010 25 күн бұрын

cảm ơn anh vì những chia sẻ hữu ích, mới những ngày đầu còn nghe anh để đi phỏng vấn thực tập mà bây h đã đi làm tới công ty thứ 3 rồi, mục tiêu vẫn kiên định vì càng học càng thấy mình chẳng biết gì nhiều, tương lai cũng mong trở thành 1 senior về DE ạ, cảm ơn chia sẻ quý báu của anh ạ

@nguyenngocphat2965 Ай бұрын

Lặn lâu quá anh ơi, rất vui khi anh đã quay lại ạ

@kivisatedomotoji5956 Ай бұрын

Video dễ hiểu lắm ạ. Thank kiu anh

@thungachauthi1774 22 күн бұрын

Video của bạn rất hữu ích, cảm ơn bạn❤

@user-ut2dz4gf7c 29 күн бұрын

hello a, lâu rùi không có video của anh để xem

@syyvuu699 Ай бұрын

Mong anh ra thêm các video về các kiến trúc hệ thống data lake, lakehouse

@TynE Ай бұрын

Ôi vãi, anh lặn lâu kinh vậy😄😄. Nhưng mà cũng chào mừng anh quay trở lại nhé hahaha👏👏👏

@hieutrinhminh7851 Ай бұрын

Hello a, lâu lắm mới thấy a comeback

@giahuytran1428 Ай бұрын

Bọn em chờ a lâu lắm gòi

@datbui8807 Ай бұрын

chào mừng anh quay lại : D

@nguyenvankhanhduy3958 Ай бұрын

Lâu quá mới thấy anh làm clip lại.

@quocnguyeninh32 Ай бұрын

Lâu rồi mới thấy anh! Coi anh từ lúc chật vật kiếm job cho tới khi có job ạ hehe :3 Cảm ơn anh đã cho em mindset đúng đắn hơn về mảng này ạ :3

@DataGuyStory Ай бұрын

Xịn, chúc mừng em nha

@namquach73 29 күн бұрын

hay quá a!!!

@datha1605 26 күн бұрын

Với trend AI như hiện tại, thì việc định hướng học data cơ được ko bạn nhỉ, và chi tiết hơn là nên học chuyên sâu ra sao

@danhpro5866 Ай бұрын

lâu quá mới thấy a

@user-jk7gh7ch6h 8 күн бұрын

Chào a Duy. E hiện tại đang làm trong ngành logistics. Em chưa từng học IT và chưa từng làm qua bất vị trí nào trong ngành IT. Bây giờ e muốn chuyển sang làm data engineer. Với ng tất cả từ con số 0 như em có thể học để trở thành data engineer ko a ? Nếu có thể thì sẽ bắt đầu từ đâu và lộ trình như thế nào ạ. Xin a tư vấn cho em với ạ. Em thật sự muốn trở thành 1 data engineer. Em cảm ơn a.

@huyhandes 29 күн бұрын

Chỗ em có 2 ông làm từ Platform đến Analytics luôn. Có devops support, còn phía analytics có thêm BA support

@linh-phgvu Ай бұрын

Lâu lắm rồi mới thấy chủ xị 🙌 Lâu tới nỗi em không còn theo DE nữa huhu =)))))) Nhưng mà vẫn like video rồi nha 😸

@DataGuyStory Ай бұрын

Lâu quá không gặp, cám ơn cô gái nha

@ducdoX Ай бұрын

lau lam moi thay anh len hinh lai

@nguyeninhan8542 Ай бұрын

hay a oi

@andylee8283 28 күн бұрын

longtime no see

@charathip223 28 күн бұрын

Anh ơi em muốn làm DS thì có cần phải học ctdl và gth ko a ?

@hn_ac6865 28 күн бұрын

chời ơi lâu lắm r mới thấy a ra video, không biết a còn nhớ không nhma từng có 1 bạn sv năm nhất nhắn hỏi a về lộ trình trở thành một DE và bây giờ bạn đó chuẩn bị nhắn nhờ a review cv thực tập DE nè :333

@DataGuyStory 27 күн бұрын

xịn, quăng cv qua anh xem thử tiến bộ tới đâu rồi :D

@AlanTran18 Ай бұрын

Lâu rồi mới thấy anh lên video, coi anh từ hồi học đại học, ra trường làm IoT + Backend. Giờ bén duyên du học Master Data Science. Hy vọng anh có nhiều thời gian lên video chia sẻ nhiều hơn ạ. Chúc anh thật nhiều sức khỏe 😉😉

@trungbac_ Ай бұрын

dạ anh có thể cho em xin contact để hỏi về việc đi du học master DS được k ạ, em cảm ơn

@DataGuyStory Ай бұрын

Ủa ngon dị, du học ở đâu á em. Chúc mừng hen :3

@AlanTran18 Ай бұрын

@@DataGuyStory Dạ em du học ở Úc, e thì tốt nghiệp BKHCM ngành Automation, ra làm IoT + BE được 1 năm thì đi du học luôn. Trong 3 hướng DA, DS, DE thì em nhận thấy mình thích ngồi code, build hệ thống và design này nọ hơn là communicate với customer. Ở bang của em mảng Natural Resource and Energy rất phát triển, họ tuyển DS chủ yếu làm những thứ như video của anh luôn nên em không thích hướng Research cho lắm ạ

@DataGuyStory 28 күн бұрын

Nghe nói mảng niche vậy hơi bị xịn. Tính ra mấy mảng như vậy lại ít cạnh tranh thì phải, giờ ai cũng apply AI nên mấy cái như vậy người ta tuyển nhiều về nghiên cứu. Mà chắc nghiên cứu xong cũng cần người build code này nọ mà.

@AlanTran18 28 күн бұрын

@@DataGuyStory dạ e mới vào học thôi, nhưng e du học ở Tây Úc thì mảng năng lượng này luôn là thế mạnh ở đây. Nên em nghĩ 2 3 năm tới vẫn còn chỗ để mình “aim to” Thank you anh 💪

@MaheshNair27 27 күн бұрын

Long time no see!

@DataGuyStory 26 күн бұрын

boss, haha

@francotrinh5692 27 күн бұрын

Làm Data Engineer thì ngôn ngữ R có hữu ích không anh

@tpt0701 29 күн бұрын

Lời khuyên đúng và bổ ích, giống hết với case của mình làm DE xong sang DevOps Engineer giờ có cả skill của hai mảng. Nếu các bạn muốn tăng lương hoặc kiếm cơ hội nên học cloud và Terraform!

@DataGuyStory 29 күн бұрын

Xịn, vậy là lương giờ cao lắm nè :))

@tpt0701 29 күн бұрын

@@DataGuyStory Hên xui anh ah kk, em mời ra trường thôi trước em thực tập DE gần 1 năm sau đó được offer DevOps, với một phần em làm ở Mĩ nên mức lương nó cũng cao hơn mặt bằng chung tương đối :))

@DataGuyStory 28 күн бұрын

Vậy là ông nhận lương cao nhá =]] tui nói không có sai :)))

@kientrung-io4jt 12 күн бұрын

em chào anh ạ, anh ơi em thấy xu hướng hiện tại đẩy mọi thứ lên cloud thì anh có thấy rằng data platform engineer có đang mất dần chỗ đứng không ạ, và mình nên đi theo hướng nào hợp lý ạ

@DataGuyStory 6 күн бұрын

Ủa Data Platform còn cần hơn DE khi chuyển mọi thứ lên cloud mà em. Sao lại mất dần chỗ đứng =))

@kientrung-io4jt 5 күн бұрын

@@DataGuyStory Ví dụ như Hadoop và spark bây giờ mình không cần lo cài nữa mà cloud có thể lo hết việc đó luôn rồi, đối với thị trường vn là thế nên em thấy hơi lo lắng ạ

@phanhuyhoang3720 29 күн бұрын

Hiện tại tầng trên cùng sẽ tích hợp với domain và người ta hay gọi là DA DS BI 😁😁😁😁😁

@NamNguyen-pn1od 27 күн бұрын

năm ngoái còn nhắn hỏi anh về vụ set up data stack và dc anh giao task build cái app nho nhỏ dùng airflow lấy api từ dummy đầy vào mysql r dùng spark ETL vào hadoop, mà h em đang fresher DE rồi :))) k biết anh có nhớ em không :v

@DataGuyStory 26 күн бұрын

Xịn vậy, rồi cái data stack đó có làm đc ko hay có việc trc khi xong rồi 😂😂

@NamNguyen-pn1od 26 күн бұрын

@@DataGuyStory haha, em làm được rùi anh ui, mà anh cho em hỏi với h cty em đang dùng prefect để automate ETL trên google cloud platform, e đang tính triển khai cloud composer thì nó có tối ưu hơn prefect không anh nhỉ

@DataGuyStory 26 күн бұрын

@@NamNguyen-pn1od à, để so sánh thì phải tùy vào công ty thôi. Prefect nó mới hơn nên hỗ trợ từ cộng đồng sẽ ít hơn airflow. Airflow kiểu lão làng nên đa phần các bug/issue/tasks đều sẽ kiếm được solution. Còn về performance hay tối ưu thì tùy thuộc vào người dùng, airflow cũng có cách để tối ưu performance hay workflow tốt hơn. Prefect có thể dễ hơn vì nó mới và hỗ trợ được những cái thiếu sót của airflow. Nếu mà chỉ làm việc đơn thuần với scheduling, workflow này nọ thì prefect với airflow là nhưng nhau thôi. Còn nếu em quyết định làm những task khó hơn đòi hỏi complex workflow and tối ưu thì anh recommend airflow vì support từ cộng đồng tốt hơn.

@NamNguyen-pn1od 25 күн бұрын

@@DataGuyStory dạ em cảm ơn anh ạ

@thangnguyen3786 29 күн бұрын

Chào anh em, cho mình hỏi là không có gốc gác về kinh tế có học được BI hoặc Business Engineer không. Mình là 100% bên kỹ thuật-cntt, đang học về DE và hiện cũng đang kiếm việc làm nhưng mà ít job DE intern/fresher/entry level quá.

@DataGuyStory 29 күн бұрын

được nhé, cứ thử apply thôi sợ gì nè.

@thangnguyen3786 28 күн бұрын

@@DataGuyStory Hi anh, dạo này thị trg DE ít job cho newbie quá. Em cũng đã làm vài projects, có tiếng anh, có IBM cert nhưng cũng khó kiếm job quá anh. Hầu hết là min 1.5y- 2y exp :((((

@DataGuyStory 28 күн бұрын

Thật sự nhiều khi cái min experiences nó cũng không quan trọng đâu. Công ty họ tìm người biết làm là chủ yếu, nhiều khi kinh nghiệm 3 năm mà cũng không biết làm ấy chớ. Em ping CV của em sang fanpage anh xem thử thế nào nhé

@huyvu4741 29 күн бұрын

A ơi e là sinh viên muốn theo hướng DE thì nên làm đồ án về đề tài gì để có lợi cho sau này ạ

@DataGuyStory 29 күн бұрын

Em thử tìm mấy cái đồ án liên quan tới dwh hoặc etl ấy

@parkhhp Ай бұрын

dạ em chào anh, hiện em là sinh viên năm 2 chuyên ngành khoa học dữ liệu, em tính đi theo hướng DS. Vậy theo anh DS có cần phải đi theo hướng research không (research trong lab)? Sau khi research thì có ra làm việc được không? hoặc nếu không đi research thì em nên học những gì để có thể phục vụ cho nghề DS ạ? Em cảm ơn.

@DataGuyStory Ай бұрын

Nếu em định làm AI Engineer thì không cần. Còn nếu theo DS thì cố gắng học sau đại học nha. Không nhất thiết research trong lab mà research ở R&D center của công ty cũng được á

@parkhhp Ай бұрын

@@DataGuyStory dạ em cũng có tính sau khi tốt nghiệp đại học thì cố gắng xin hb master (cụ thể là các qg như hàn, sin). anh có thể cho em hỏi yếu tố nào quan trọng để xin được học bổng master k (gpa, ielts, paper,...). Các bài báo khoa học có phải là điều kiện cần để có thể xin được học bổng k ạ?

@DataGuyStory Ай бұрын

Cái này ngắn gọn hơi khó nói. Điều kiện học bổng còn tuỳ thuộc vào từng trường nữa á. Em nhắn fanpage anh nhé, anh hỗ trợ cụ thể hơn

@DataGuyStory Ай бұрын

Cơ bản thì có thể là các bài nghiên cứu khoa học, thành tích học tập. Còn tiếng anh sẽ là bắt buộc á em

@parkhhp Ай бұрын

@@DataGuyStory dạ anh

@hochiuc2706 Ай бұрын

Em đang tự học. Mà khó tìm được nguồn dữ liệu để thực hành quá 😥😢

@DataGuyStory Ай бұрын

Nhiều lắm mà em, ví dụ nè www.kaggle.com/code/benhamner/competitions-with-largest-datasets

@hochiuc2706 Ай бұрын

@@DataGuyStory Em cảm ơn anh

@nguyenquoctuan2161 29 күн бұрын

E muốn làm cả DA và DE thì có ổn k a?

@DataGuyStory 29 күн бұрын

Được á, nhưng mà nên chọn 1 trong 2 cho chuyên sâu thôi em. Đường dài mà chuyên 1 cái ổn hơn á

@TuanAnhTran-ue8ed 20 күн бұрын

cho em xin in4 đồng hồ anh đeo với a Cảnh

@DataGuyStory 20 күн бұрын

Tudor BB 54 nha

@theyuhtahn6207 Ай бұрын

@Scorpisces1911 29 күн бұрын

Hic anh tui anh tui :(

@Scorpisces1911 29 күн бұрын

Tâm huyết thế này phải bật $Thank$ đi anh :x

@DataGuyStory 29 күн бұрын

Thôi, ai lại thế =))

@dangtran9405 25 күн бұрын

Này đa phần chắc chỉ có bên cty ở nc ngoài thôi, chứ việt nam thì đa phần doanh nghiệp mún 1 ông data phải biết tuốt từ data science, data analyst, data engineer, kiêm hết 😂

@DataGuyStory 24 күн бұрын

chuẩn rồi, lương 10tr nhiều khi còn phải viết content nữa mà =))

@duyvuba5289 20 күн бұрын

Đúng òi, 1 người phụ trách tất tần tần về data chứ ko có chia role gì hết 😆. Đc cái như vầy thì exp lên nhanh do việc gì cũng đến tay

@ductdadamn Ай бұрын

anh ơi em sắp thi đại học và định hướng tương lai làm DE, cho em hỏi anh thấy học ngành khoa học dữ liệu của đại học khoa học tự nhiên hay ngành hệ thống dữ liệu của đại học công nghệ tốt hơn ạ?(cả 2 trường đều thuộc đhqg Hà Nội ạ)

@DataGuyStory Ай бұрын

anh không rõ nữa, em có thể xem thử chương trình đào tạo của 2 trường, xem bên nào liên quan đến data engineer nhiều hơn nha

@syyvuu699 Ай бұрын

bạn mình học ngành DS của KHTN thì chương trình học chủ yếu là về DS/AI (không liên quan đến DE lắm). Bạn nên nghiên cứu chương trình học của 2 ngành đó nếu thấy có những học phần như: Cơ sở dữ liệu, Kho dữ liệu và kinh doanh thông minh thì phù hợp với định hướng DE