Nie znam tych statystyk - i z mojego doswiadczenia, nie moge sie z nimi zgodzic. Gdy w jednej z firm robilismy w pelni platne, swietnie przygotowane szkolenie... trudno bylo znalezc chetnych. Natomiast jak wspomnialem w rozmowie, Big Data to osobna branza, moze miec inna specyfike niz srednio w IT. Eldorado w IT to juz raczej przeszlosc, ale ciagle to bardzo dobra branza. Ma swoje problemy i patologie, ale to jest nasza robota zeby z nimi walczyc. A ludziom przedstawiac pelna prawde, a nie bujac ze to szybko latwo i przyjemnoe.

@@riotechdatafactory A ja się znam bo mam 10 lat doświadczenia w tej branży i przez ostatnie parę miesięcy zmieniałem miejsce pracy i mam świeże spojrzenie jakie teraz panuje w tej branży (big data / data engineering / data analitics) sytuacja. Nie pamiętam żeby kiedykolwiek było tak tragicznie pod względem możliwości zmiany pracy nie pisząc już o znalezieniu swojej pierwszej pracy co jest przecież jeszcze trudniejsze.

Nie jest lekko, to prawda. Zaoponowalem tylko przeciw "setkom osob na miejsce" bo to gigantyczne oblozenie, znane z topowych firm i uczelni. Ja ostatnio akurat dostaje sporo ofert pracy. Ale tez fakt ze dostaje oferte noe swiadczy ze zdobylbym robote. Udalo Ci sie w koncu zmienic firme? Jakby co mozesz mi wyslac swoje cv, to bede kierowal do Ciebie rekruterow:-)

@@riotechdatafactory tak udało mi się po 6 miesiącach i setkach wysłanych CV i wielu powalonych procesach rekrutacyjnych. Jak w nowej pracy będzie ok to zostanę tam już pewno na lata bo nie chcę przechodzić 2 raz tego samego mini piekiełka. Z tego co słyszę podobne problemy ma mnóstwo innych doświadczonych osób którzy też mają wykształcenie formalne, doświadczenie i oficjalne certyfikaty (np.: z Azure-a, AWS-a, GCP). Skoro doświadczone osoby mają problemy to jakie szanse ma ktoś kto obecnie "przebranżawia" się i nie ma nawet studiów kierunkowych??? Jak ktoś teraz pyta mnie czy warto się jeszcze "przebranżowić do IT" to odpowiadam zdecydowanie NIE a jeszcze 2 lata temu zawsze polecałem. Nie warto bo najprawdopodobniej osobie bez studiów kierunkowych to już się NIE UDA bo choć będzie ciężko się uczyła, starała to i tak przy konkurencji paruset kandydatów na jedną ofertę pracy szanse powodzenia są minimalne.

@@WojennyMlotek Jest mnóstwo różnych miejsc - niektóre są sensowne, inne powalone. Ja prowadzę ludzi w mentoringu i w ciągu ost. paru miesiecy, parę osób znalazło pracę... mimo że zaczynali z zerowym doświadczeniem. Nawet nie umieli programować:-)

Nie bylbym pewny ze spadkiem plac - przy obecnej polskiej gospodarce, to raczej rzadkosc, a IT to wciaz dobra branza:-) A myslales/as o rozwoju strategicznie? Gdy z boku spojrzysz na swoje wady i problemy, kierunki rozwoju, rozpiszesz mame drogowa - cala podroz jest duzo mniej frustrujaca:-)

Cudownie 🤩 Powodzenia bro! Czuję, że dasz czadu 🦾

To prawda! Zaraz leci newsletter i bedzie cwiczenie do wykonania. Licze na twoja odpowiedz! 😀

Hej! Nie, to raczej nie jest dzialka inzyniera danych. To juz ludzie od ML, ew. Data Science. Natomiast oczywiscie jest tez mozliwy model hybrydowy, choc stanowczo nie jest on codziennoscia. Pozdro!

Dobry pomysł;-). Mam w głowie miejsce do rozwoju dla inżynierów big data, gdzie mogłaby być cała baza tego typu inspiracji, razem z gotowymi zestawami danych lub odnośnikami do API itd.

@@riotechdatafactory może jakiś kanał na slack / mini forum? Wspólne projekty i nauka? Subskrybcja miesięczna myślę że 200/300 zł na miesiąc każdy by zapłacił :) Praktyka i typowe zadania jak w pracy + praca w grupach / spotkania / review.

@@krzysztofk9563 Dobry pomysł! Przyznam, że ja sam mam też coś podobnego, chociaż ciut szerzej zakrojonego. Ale może można by zacząć od czegoś w tym stylu. Jeśli jesteś zainteresowany miejscem do rozwoju w Big Data, napisz na [email protected] - chętnie opowiem jaki mam pomysł i pogadam z Tobą o tych tematach!;-)

Mogę - w skrócie: nie ma. A dłużej, możesz obejrzeć jeden z ost. filmów, gdzie omawiałem kim jest big data engineer;-). Jeśli chodzi o hurtownie danych - moim zdaniem jak najbardziej to element Big Data:-). Nie wszyscy się z tym zgodzą, ale jak dla mnie to jest poza wszelką wątpliwością🙂

@@riotechdatafactory A mogłbyś podpowiedzieć jakie projekty można robić które mają znaczenie w porfolio? Oczywiscie jako początkujący bez doświadczenia komercyjnego. A portfolio aby mieć większe szanse na zdobycie pierwszej pracy w bazach danych.

​@@thedeck99 Trudna sprawa, bardzo dużo zależy od tego w jakiej jesteś sytuacji życiowej. Obejrzyj mój poprzedni film, gdzie tłumaczyłem "jak zostać inżynierem big data w 2024". Nie chciałbym dać "jednej pewnej odpowiedzi", bo włożysz w to wysiłek a potem niewiele z tego wyjdzie. Na pewno poznałbym konkretne technologie, przede wszystkim Sparka i szukał możliwie szybko komercyjnej pozycji do CV - nawet za półdarmo. Można jednak też zrobić niekomercyjnie, ale wtedy poszedłbym na grubo, w coś co będzie realnie działało, będzie spełniało jakąś potrzebę, choćby niewielką, i będzie wisiało w internecie (np. jakieś określone, niszowe raporty). I potem tym można się pochwalić jako "pół-komercyjnym" projektem. Powodzenia!

@@riotechdatafactory Jedyna rzecz z którą się akurat z tobą zgadzam :)

@@thedeck99 żadne projekty, obecnie albo kończysz studia kierunkowe, czyli informatykę albo coś bardzo pokrewnego, dostajesz się na staż i jak się spodobasz to w firmie gdzie masz staż dostajesz swoją pierwszą pracę. Obecnie nie ma praktycznie innej możliwości dostania pierwszej pracy w IT w inny sposób ale oczywiście sprzedawcy kursów twierdzą inaczej bo na 100 osób próbujących bez tego 1 osobie się uda i będą tą jedną osobę ciągle dawać za przykład że to proste i że jak najbardziej jest to możliwe. Możliwe jest wszystko tylko że to akurat jest bardzo mało prawdopodobne. Poza tym te mityczne portfolia to w Polskich warunkach bullshit, dobrze, coś sobie samego zrobić w celach edukacyjnych, ale to nie pomoże na rozmowie rekrutacyjnej. Bazy danych, analiza danych to nie front-end dewelopment, w którym podobno portfolio jest ważne.

Dzieki wielkie!

High five!

Trzymam kciuki bardzo!! Początek masz nawet zgodny z tym co mówię w wideo, bo python + SQL to brzmi jak fundament;-) Jeśli tylko mogę coś doradzić, to zauważyłem pewną minę którą sobie wyłożyłeś: "Z planu pozostaje mi dobre poznanie bibliotek pythonowych jak pandas, solars i PySpark". O ile pandas to faktycznie typowa pythonowa biblioteka, to polecam oddzielić sparka i traktować jako zupełnie osobną, dużą technologię, a pysparka jako jej reprezentację. Chodzi o to, że ważniejsze jest samo poznanie sparka, z myślą o tym co dzięki niemu się robi, a nie jako bibliotekę pythonową - może to doprowadzić do spłaszczenia sparkowych możliwości i głębokich frustracji wynikających z niedoszacowania technologii:-) Wierzę w Ciebie, daj znać za jakiś czas jak idzie robota!

​@@riotechdatafactorypoza tym pyspark nie do końca dobrze współpracuje z pandas 😉 i faktycznie spark to nie tylko pyspark, a całe środowisko z deltą na czele.

@@riotechdatafactory Dzięki za wsparcie i rady. Od czasu jak wyklarowała mi się ścieżka którą chcę iść śledzę Twój kanał, słucham podcastu i czytam maile. MEGA wartościowa wiedza i fajny sposób przekazywania. Trzymam kciuki za rozwój i kolejne sukcesy!

@@kb3262 Dzięki, już się zastanawiałem nad różnicą użycia PySpark i Spark. Wyjaśniliście temat w kilku zdaniach :D Podobnie jak Ty przebranżawiam się po 30 i z zupełnie innego środowiska pracy także jest ciekawie ale najlepsze jest to, że programowanie bardzo mi pasuje i zastanawiam się co ja do tej pory robiłem ;)

Tak z ciekawości to studiowałeś coś związanego z big data, czy na własną rękę cała nauka?

Wielkie gratulacje! A miałeś/aś już wcześniej doświadczenie w IT? Jaka była Twoja historia z pierwszą pracą? Zwykła aplikacja, rekruterzy? Jeśli chodzi o Scalę, to zdecydowanie 2.13:-). Wynika to z faktu, że Scala w Big Data == Spark. A Spark, w najnowszych wersjach (i nie tylko) jest dostępny w scali 2.13 - dodatkowo, sądzę że przez kolejne kilka lat jeszcze będzie można spokojnie robić w Scali 2.13, nawet jeśli Spark się dogada ze Scalą 3 (która mi, swoją drogą, tak sobie się podoba).

​@@kacperuriasz2915nie studiowałem, jestem po logistyce. Przebranżowiłem się po 30

​​@@riotechdatafactorystaż w korpo, w trakcie paru miesięcy zrobiłem dp-203, parę stażowych projektów w celu poznania Azure, w tym devopsa, oraz styczność z databricks, ale w zasadzie to dostałem tylko czas, a praktycznie uczyłem się sam - udemy i oficjalne kursy MS/DB. Wcześniej zarządzałem produktem w handlu, więc z IT niewiele wspólnego ;) A Scala 3 trochę wygląda jak próba przeniesienia Pythona na JVM jak patrzyłem z ciekawości na jakieś skrypty

@@kb3262 To tym większe gratulacje! Mega się cieszę, że docisnąłeś temat 🦾 Co do scali 3 - dokładnie :D Dlatego mi się nie podoba:p

Zwykle odpowiadam fachowym "to zależy" :D. Tu natomiast odpowiedź jest prosta: ciężko mi wyobrazić sobie, żeby Spark stał się w najbliższych kilku latach niepotrzebny. Drugie pytanie: jedna rzecz an raz. Jak najbardziej jest miejsce na łączenie specjalizacji, ale warto poznać Big Data jako osobną działkę (którą można zgłębiać naprawdę długo), a potem dołączać do tego wiedzę z zakresu ML. Pozdro!

@@riotechdatafactory dziękuję za odpowiedź. Przeglądam kanał i też ofertę kursową. Cena całkiem spoko, w tym najwyższym pakiecie Platinium widzę też na Sparka. Będzie do przemyślenia z tym kursem :). A w pytaniu też chodziło mi może czy ai może przejąć jakąś (sporą?) część zadań z Big Data, żeby np nie opłacało się tego uczyć komuś kto już jest doświadczonym programistą, ale w innej specjalizacji. Bo nagle się okaże że, cytując klasyka, nie ma pracy dla ludzi z twoim wykształceniem (w Big data) :D, bo ai będzie ogarniało na tyle sporo z tego. Ale to pewnie jest podobnie jak w każdej innej specjalizacji czy gałęzi programowania.

Zapraszam do kursu, slyszalem ze fajny, chociaz prowadzacy przynudza 😁 W platynowym pakoecie jest tanszy pierwszy miesiac mentoringu;-) Kurcze, mysle o tym czesto ale nie mam zdania za ktorym bym rozdarl koszule jak Rejtan. Nie sadze zeby bylo nieuzyteczne, AI dlugo jeszcze bedzie narzedziem wiec co najwyzej podniesie nam "poziom abstrakcji". Ale swiat zmienia sie wolniej niz zwyklismy o tym myslec. Ludzie w wielu projektach ciagle uzywaja Hadoopa - czyli bazuja na wiedzy ktorej ja sie uczylem ~6 lat temu!

Cos w tym jest:-)

Co masz na mysli? Mozesz odwolac sie do konkretnych kolumn

@@riotechdatafactory pomyślałem, że skoro Dataframe jest typu row, to jest coś w stylu odczytu całych linii jak w Pythonie, gdzie np. pola oddzielone są średnikami i trzeba zrobić split'a, żeby móc dobrać się do pojedynczego pola.

DF jest jak tabela. Troche jak w bazie danych. I dzialasz np filtrujac wiersze po konkretnych wartosciach (daj wiersze ktore maja kolumne "price" wieksza od 20)

A bardzo chetnie!

Haha 😄 oby bylo dziwnie jak najczesciej!

NLP, NLS, hipnoza, perswazja, gdzie teraz uczą tak gadać?

❓️❓️🤪

Powinien, jeśli dataset by takie posiadał. Ten dataset ma statystyki z lat 1996-2021;-). Ale słuszna uwaga!

Dzieki za komentarz! Co do algorytmow, na pewno nie pracuje sie na tym niskopoziomowo na co dzien. Natomiast warto to po prostu poznac zeby wyrobic sobie pewien styl myslenia, bardziej logiczny, matematyczny. No i zalezy tez od specyfiki projektu, tak sadze:-)

@riotechdatafactory Dzieki za odpowiedź. Jakiego rodzaju algorytmy zdarzyło Ci się implementować w dotychczasowej pracy w Big Data ? Próbuje zlokalizować najtrudniejszy punkt tej pracy , zeby ewentualnie czas jaki poswiece na nauke języka nie był stracony , bo nagle sie okaże , ze nie radze sobie z opracowywaniem jakiegoś rodzaju algorytmów lub inną kluczową kwestią.

To ja bym sie na tym nie skupial. Raczej sprobowalbym realizowac konkretny projekt bo trudnoscia jest zrozumienie technologii i laczenie ich ze soba. Jak to ogarniasz to implementacja konkretnego algorytmu zajmie Ci X dni lub 3X dni, ale zwykle ma to drugorzedne znaczenie;-)

Rozumiem ze chodzi o sam wzorzec Snowflake a nie technologie?;> Jak najbardziej, pomysle o tym 😊

@@riotechdatafactory Dokładnie, o sam wzorzec modelowania 😊 Dzięki!

Formalnym inzynierem - trzeba miec studia. Ale zeby zaczac robote, absolutnie nie. Co orawda w niektorych miejscach wymagaja papierka, ale raczej w mniejszosci:-)

A uważasz, że "łatwiej" byłoby zostać najpierw analitykiem danych i pracując już z danymi (tym samym posiadając doświadczenie np z SQLem) po pewnym czasie spróbować zmienić rolę na inżyniera danych, czy jednak bez żadnego komercyjnego doświadczenia i studiów technicznych próbować znaleźć zatrudnienie jako inżynier? Docelowo chciałbym zostać inżynierem, gdyż wydaje mi się, że ta rola mi po prostu bardziej odpowiada, natomiast zastanawiam się jakie są realne szanse zatrudnienia bez doświadczenia komercyjnego z danymi.

To jest wlasnie skomplikowana sprawa. Byc moze latwiej byloby faktycznie zaczac z analityka, wtedy Kajo Data bedzie mogl wiecej pomoc. Prawda jest taka ze do Big Data jako inzynier ciezko sie wbic. I warto stosowac rozne wytrychy. Dobrze jest myslec w dlugiej perspektywie i np szukajac pracy jako analityk, szukac narzedzi ktore moga wspolpracowac z Big Datowymi obslugiwanymi przez inzynierow. Wtedy niekiedy pojawia sie szansa na przebranzowienie wewnatrz firmy:-) grunt to solidnie przygotowana Mapa Drogowa. Trzymam kciuki!

A to komplikuje sprawę jeszcze bardziej:-)

Dziekuje 🤩 Proponujesz jakies?;>

To ja dziekuje! Zapraszam do newslettera "Na Szlaku Big Data", na pewno sie tam odnajdziesz ;-)

Ofkors:-)

🤩🤩🤩

Statystyka u mnie wyszła jeszcze gorzej niż bazy i sieci :D A bazy danych zaliczyłem tylko dzięki mojej wspaniałem koleżance oraz ściągom (akceptowanym przez wykładowcę). A szkoda.

Hej! Mowiac praktycznie: mozna robic i w scali i w pythonie. Scala jest natywna, wiec zawsze to bedzie lepszy wybor, ale raczej roznice wydajmosciowe sa marginalne, szczegolnie w kontekscie funkcjo sparkowych. Gorzej wypada gdy korzystamy z UDFow. Niemniej wciaz sadze ze to wybor raczej poza wydajnosciowy. Co do struktur - to nie wolno zrzucac do klasycznych, poza sparkowych, bo wtedy calosc danych zrzucana jest na jedna maszyne, co moze sie skonczyc collapsem;-) Pozdro!

Dziękuję ❤ Jesteś już na newsletterze?;>

Dziekuje przepieknie! Wpadnij na "co to jest Spark" - tam sie zaczyna robic fajnie 😎 Aha, Pawel - oczekuj nowej wersji newslettera. Bedzie ogien 🔥🔥🔥