Escalamiento, Normalización y Estandarización de Datos con Python para Ciencia de Datos

No video

Escalamiento, Normalización y Estandarización de Datos con Python para Ciencia de Datos

Рет қаралды 38,443

Codigo Maquina

Күн бұрын

Пікірлер: 129

@CodigoMaquina 2 жыл бұрын

⭐ De la co-fundadora de Código Máquina, productos de cosmética natural SINHAKI: www.amazon.com.mx/stores/sinHaki/page/1BD34FBC-C0F9-44F5-AC69-520634334C61?ref_=ast_bln

@placebojunior9779 Жыл бұрын

Tu tutorial es sinceramente largo, e intensivo. Pero lo excelente cuesta, voy apostar por tu curso es matematica pura y python que mejor coctel me sucribo a tu canal quiero ver mas.

@CodigoMaquina 14 күн бұрын

Muchas gracias por tus comentarios :)

@DIEGOGERMANGUERREROMORENO 2 ай бұрын

Un profesor Espectacular, no deja nada a barca todo el tema, gracias por este curso tan excelente, lo hacer ver fácil. Un gran saludo y felicitaciones desde Bogotá Colombia

@kykexo Жыл бұрын

Lo explicó mucho mejor que el profesor del curso que estoy tomando.

@CodigoMaquina Жыл бұрын

Muchas gracias por interactuar con el contenido del canal.

@diegocheloni 6 ай бұрын

Explica bien. Solo que habla que tenemos que quitar outliers. Pero hay casos particulares donde estamos buscando esos outliers. Buen canal

@jannetdavalos 5 ай бұрын

Coincido plenamente. Muchas gracias por compartir sus conocimientos.

@jesusmanuelnietocarracedo9701 26 күн бұрын

Pues otro vídeo magistral, MUCHAS GRACIAS POR EL CURRAZO!!

@victordeltoro1495 2 жыл бұрын

Es el mejor canal que he encontrado sobre estas temàticas. Te orienta de manera adecuada en el aprendizaje

@CodigoMaquina 2 жыл бұрын

En verdad te agradezco tus comentarios :)

@CRISTIANGONZALEZ-vu8gw Жыл бұрын

El mejor canal que he encontrado para aprender ciencia de datos, felicidades, tienes un excelente contenido! enseñas mejor que lo que enseñan en universidades! saludos!

@CodigoMaquina Жыл бұрын

@CRISTIANGONZALEZ-vu8gw muchas gracias por tus palabras :)

@Gustavo-rb6df Жыл бұрын

Eres un genio, enseñas muy bien y tocas temas muy específicos y avanzados de ciencia de datos.

@CodigoMaquina Жыл бұрын

Eres muy amable Gustavo, es un verdadero gusto saber que los videos son de tu agrado :)

@miguelg8a Жыл бұрын

Amigo, este es el mejor canal que he visto sobre ciencia de datos, 👏gracias por compartir este conocimiento y hacerlo de forma muy entendible. Me suscribo y compartiré este canal para que otros lo vean

@CodigoMaquina Жыл бұрын

Miguel muchas gracias por tus comentarios y por el gran apoyo. Gracias a ustedes podemos llegar a más personas.

@rafita930 Жыл бұрын

@marycruzmezarivas9048 Жыл бұрын

Hola acabo de descubrir este canal, y realmente sigo muchos pero me quedo aquí con tus explicaciones claras y conceptos precisos. Muchas gracias por lo que haces y felicitaciones

@CodigoMaquina Жыл бұрын

Muchas gracias por tomarte el tiempo de comentar Mary Cruz. Me alegra saber que el contenido es de tu interés. Saludos!!

@brayandanielcardenascardon3884 4 ай бұрын

Cracksaso, explicaste lo que casi nadie explica para poder entender ML

@GustavoAAltamirano Жыл бұрын

👋Octavio, muy claros los conceptos! felicitaciones!, me gusto mucho tu concepto de apachurrar los datos (jajaja), ya estoy esperando el próximo video con la guía (practica) de cómo mejorar los datos pasando por las diferentes técnicas de escalamiento, normalización y estandarización... (Mientras espero me doy una vuelta por tu tienda)... un saludo!

@CodigoMaquina Жыл бұрын

Muchas gracias Gustavo. La mejor de las suertes en la vida :)

@alfonsoramos9120 2 жыл бұрын

Excelente explicación, me ayudó muy bien a entender el contexto de la normalización de datos. Gracias y saludos.

@CodigoMaquina 2 жыл бұрын

Gracias por tus comentarios y por ver el canal :)

@antoniosuarezvaldes9373 Жыл бұрын

Un canal académico y sistemático. Muchas Gracias por su aportación

@CodigoMaquina Жыл бұрын

Muy agradecido por tus comentarios. Saludos Antonio!!

@lilivalenciagonzalez9456 2 жыл бұрын

Apenas me estoy iniciando en el mundo de análisis de datos y ML. Viendo tus videos he aprendido un montón y aclarado muchas dudas. Muchas gracias por compartir tu conocimiento

@CodigoMaquina 2 жыл бұрын

Muchas gracias por ver el canal y por los comentarios. Hacemos este contenido para personas como tú: con ganas de aprender :)

@boasorte6808 Жыл бұрын

Este video es oro puro. Tremendisimas gracias, mega suscrito y agradecido. Saludos.

@CodigoMaquina Жыл бұрын

Muy agradecido por tus comentarios y por suscribirte al canal. Saludos!!

@rockophill3934 Жыл бұрын

Excelente Maestro Octavio, muy claro. Gracias!

@CodigoMaquina Жыл бұрын

A la orden Rocko. Saludos!!

@francopes9911 2 жыл бұрын

Es una joya este canal. Muchas gracias por tus videos!!

@CodigoMaquina 2 жыл бұрын

En verdad que agradecemos tus palabras.

@sebastianherreragil4491 2 ай бұрын

Muchas gracias maestro!

@rossisilvablas1646 Жыл бұрын

Entendí mucho más con la comparación en los gráficos, muchísimas gracias 😊

@CodigoMaquina Жыл бұрын

@rossisilvablas1646 gracias por seguir el contenido del canal y por interactuar :)

@andersonarrieta446 2 жыл бұрын

Muy buena explicación, excelente tu forma de hacerte entender. Gracias por compartir tus conocimientos. Saludos

@CodigoMaquina 2 жыл бұрын

Gracias por tus comentarios. Comentando y viendo el canal nos ayudas mucho a llegar a más personas ¡Muchas Gracias!

@danielrojas4842 6 ай бұрын

Genial explicación, mucho mejor a los profesores del curso en el qie estoy

@alberthpinco3543 6 ай бұрын

Excelente contenido, muchas gracias!!

@alejandroroag Жыл бұрын

Muchas gracias, una forma de explicar muy clara.

@CodigoMaquina Жыл бұрын

Agradezco tus comentarios Alejandro 😊

@albaandrademorales2930 Жыл бұрын

Excelente explicación, mis felicitaciones y agradecimientos.

@CodigoMaquina Жыл бұрын

@albaandrademorales2930 muchas gracias :)

@diegosotochavez1067 2 жыл бұрын

Muchas gracias amigo! tus videos son geniales, muy claros y prácticos!

@CodigoMaquina 2 жыл бұрын

Gracias por tus comentarios. Mientras tengamos tiempo y salud, seguiremos haciendo videos educativos :)

@marianovila5077 Жыл бұрын

Muchas gracias por compartir, excelente los videos, ya suscripto claro. saludos!

@CodigoMaquina Жыл бұрын

Muchas gracias Mariano!!!

@HPenarandaBello Жыл бұрын

¡Excelente explicación! Felicitaciones.

@CodigoMaquina Жыл бұрын

Muchas gracias @HPenarandaBello

@alcidesteranvelasquez8548 14 күн бұрын

Muy bueno,

@CodigoMaquina 13 күн бұрын

Gracias!!!

@ivanflorez2150 3 ай бұрын

¡Crack!, muchas gracias por tus videos y explicaciones

@rafita930 Жыл бұрын

esta muy buena la informacion felicidades y gracias por compartir.

@CodigoMaquina Жыл бұрын

Muchas gracias por tus comentarios :)

@Neurofilia Жыл бұрын

Qué genial explicación. Gracias infinitas :)

@CodigoMaquina Жыл бұрын

Muchas gracias, igual, infinitas :)

@edwintoapanta1975 6 ай бұрын

Muy buena explicacion, tegno una interrogante que mas recomendable eliminar datos atipicos y luego normalizar o viceversa. O que criteria se debe ocupar uno o el otro. Gracias

@freddyBerrospi07 8 ай бұрын

Excelente aporte, podrías realizar un video donde explicas como funciona el escalador "MaxAbsScaler"

@CodigoMaquina 7 ай бұрын

Hola @freddyyelsinberrospialvara6497 gracias por la sugerencia (vamos tomando nota) y por seguir el contenido del canal. ¡¡¡Feliz año!!!

@emilianoivan945 Жыл бұрын

Eres el mejoooooor

@CodigoMaquina Жыл бұрын

¡¡¡Muchas gracias!!!

@0DaviL Жыл бұрын

Explicas realmente genial.

@CodigoMaquina Жыл бұрын

Muchas gracias :)

@ingluissantana Жыл бұрын

Que genial este video!!!!! Gracias!!!!

@CodigoMaquina Жыл бұрын

¡Muchas gracias Luis! ¡Feliz Año!

@gabrielduenascatalan8836 2 жыл бұрын

Muchas gracias, profesor!

@CodigoMaquina 2 жыл бұрын

Es un placer :)

@brauliopina7612 Жыл бұрын

the best teacher

@CodigoMaquina Жыл бұрын

Braulio muchas gracias por tanto apoyo que me has brindado

@manueldenis730 2 жыл бұрын

Este ha sido un vídeo magistral que me ayudó a entender de modo más claro estos conceptos. En mi opinión si tuviera que elegir entre estos métodos de normalización, escogería la técnica que mencionas al final aplicar primero un robusto y luego un mix-max, el primero excluye los valores atípico y el segundo distribuye los datos de forma más elegante. Pero me quedo con una duda y te agradecería en gran medida si me ayudaras a aclararlos. Si aplicara la técnica de robusto y mix-max, cómo podría aplicar la inversa para obtener los datos reales. Por ejemplo si aplicara esta técnica a una serie temporal, en ese formato no me serviría para luego predecir la serie después de haber entrenado el modelo? 🤷🏻‍♂️. Muchas gracias por los vídeos, excelentes. 👍🏻

@CodigoMaquina 2 жыл бұрын

Gracias por tus comentarios. Con respecto a tus preguntas. Primero, estas técnicas efectivamente también se usan en series de tiempo. Segundo, el tratamiento de outliers puede llegar a ser delicado y en algunas ocasiones se hace un tratamiento separado de los outliers, por ejemplo, échale un ojo a la técnica de iForest que ya explicamos en el canal (kzfaq.info/get/bejne/pJiAo6do3dS0n4E.html). Tercero, para "aplicar la inversa" hay un método de los escaladores que casi casi se llama así: inverse_transform(). Gracias por las preguntas :)

@amadodejesusvazquezacuna5644 2 жыл бұрын

Excelente explicación maestro despeje unas dudas que tenía sobre la escala robusta y también quiera anexar que la transformación logarítmica puede minimizar el efecto distorsionador de los datos atípicos. Hay algunos algoritmos que requieren una estandarizado o un recalado como es el caso de los modelos que están basados en árboles de decisiones ya que utilizan series de desigualdades.

@CodigoMaquina 2 жыл бұрын

Muchas gracias por tus comentarios y por tus aportaciones :)

@alexvillao3827 2 жыл бұрын

Muy buena explicación maestro.

@CodigoMaquina 2 жыл бұрын

Muchas gracias por tu comentario y por ver el canal :)

@diegocardoso3015 2 жыл бұрын

Gracias

@CodigoMaquina 2 жыл бұрын

Gracias por seguir el contenido del canal :)

@pablogongora5128 Жыл бұрын

Que gran contenido, saludos.

@CodigoMaquina Жыл бұрын

Muchas gracias Pablo :)

@josedejesusgarciaestrada8458 2 жыл бұрын

muy buen video

@CodigoMaquina 2 жыл бұрын

¡Gracias!

@elkiparionarojas9206 Жыл бұрын

gracias!!!

@CodigoMaquina Жыл бұрын

A la orden Elki. Saludos!!

@user-mw9qx6mm2z 7 ай бұрын

Que buen video. La verdad. Felicidades.

@davidbodesa4062 Жыл бұрын

Excelente explicación, muchas gracias, era justo lo que estaba buscando y despejó mis dudas. Me surgió una nueva sobre algo que comentas, al dar el ejemplo en 14:16, dices que si el salario más alto fuera $25,000, entonces el 0.5 sería $12,500 pero eso dependería de tu dato mínimo, ¿no? Es decir, si el dato mínimo fuera de $9,000 entonces tenemos un intervalo de $16,000, y el 0.5 tendría que estar en medio de ambas, o sea, $8,000 por encima del mínimo, que sería $17,000, ¿es esto correcto?

@CodigoMaquina Жыл бұрын

Estimado David. Tienes razón, muy a la ligera en el minuto 14:16 asumí un salario mínimo de 0 pesos. Ciertamente, está en función de un dato mínimo, un poco antes, en el minuto 13:08,, ahí sí lo expliqué bien. Gracias por la observación :)

@Luk17a5 4 ай бұрын

Excelente como siempre sus videos! Una consulta... Se aconseja estandarizar fractures en modelos de regresión lineal simple o múltiple??

@mauriciodiaz7467 5 ай бұрын

Buen video

@salvadornunez23 2 жыл бұрын

muy buenos tus videos, podrias hacer un video explicando bootstrapping para validar modelos ?.

@CodigoMaquina 2 жыл бұрын

Muchas gracias por tus comentarios y por tu sugerencia. Ya está anotada en la lista de videos por hacer :)

@944409 2 жыл бұрын

muy buena explicación

@CodigoMaquina 2 жыл бұрын

¡¡¡Muchas gracias!!!

@patojp3363 2 жыл бұрын

Excelente 💪👏👏👏👏👏

@CodigoMaquina 2 жыл бұрын

Muchas gracias por tu comentario y feliz año :)

@metalhead63 3 ай бұрын

Qué tal estimado, no encuentro los códigos para llevar a la práctica lo visto en el video, qué nombre llevan? saludos y gracias por tomarte el tiempo de enseñarnos.

@motivcion777 Жыл бұрын

Excelente 👌

@CodigoMaquina Жыл бұрын

Muchas gracias :)

@AlexRodriguez-go5pf Жыл бұрын

Excelente forma de explicar con un ejemplo sencillo!! Tenía una duda, quiero imputar datos faltantes, crees que antes debería escalar los datos o los debería hacer después? Saludos!

@CodigoMaquina Жыл бұрын

Muchas Gracias por tu comentarios y por tu pregunta. Ejecutar primero la imputación y después de la estandarización/escalamiento o al revés, es todo un tema de discusión y está sujeto a la técnicas que se utilicen. En general, yo sugiero hacer primero la imputación y después el escalamiento/estandarización dado que las técnicas escalamiento/estandarización no están hechas para trabajar con valores faltantes. Sin embargo, imputación con KNN podría requerir primero escalar/estandarizar y después hacer la imputación.

@yordanxsherman 16 күн бұрын

bro que lista puedo tomar para iniciar desde cero

@marlondavidarangoabella1942 2 жыл бұрын

Muchas gracias por tus explicaicones. la pregunta en este caso es la siguinte: cuando se tienen dataframe con muchas más variables , se debe normalizar todo el dataframe o se debe analizar el contenido de cada variable, por ejemplo fechas o variables de tipo binomial ?

@CodigoMaquina 2 жыл бұрын

Normalmente la estandarización/estandarización/escalamiento se realiza solo con variables numéricas para alcanzar múltiples propósitos, por ejemplo homogeneizar, quitar outliers y/o debido a suposiciones que realizan ciertas técnicas de machine learning. Entonces, si una variable sigue cualquier otra distribución tendría que estandarizarse si la técnica de machine learning a utilizar trabaja bajo la suposición de que las variables siguen una distribución normal. Para el caso de las fechas, habría que ver el contexto. Si es un contexto de series de tiempo. no se modificarían y se utilizarán como índice y/o información contextual, y no explícitamente como entrada a la técnica de machine learning o de pronóstico de series de tiempo. Si no hay temporalidad asociada a las fechas (lo cual sería un poco raro pero en algunos casos sí podría suceder) y tienes pocas fechas, entonces habría que hacer una conversión numérica de las fechas como si fuera una variable categórica. En fin, hay muchas opciones y todas ellas dependen enteramente del contexto asociado a los datos. Espero mis comentarios ayuden un poco. Gracias por interactuar y por ver el canal :)

@enaiza Жыл бұрын

Demasiado claro... muchas gracias. Profe, esta transformación de los datos para efectos de aplicar procesos de ML, se revierte al finalizar el proceso? Lo pregunto pensando en sacar conclusiones a partir de gráficos cuyos valores ya no corresponden con denominaciones comunes como la edad y el salario. Muchas gracias

@CodigoMaquina Жыл бұрын

Gracias por tus comentarios y por la pregunta. Efectivamente, al momento de interpretar el resultado de un modelo se realiza una transformación a la inversa. De hecho, los escaladores, normalizadores y estandarizadores de sklearn tienen un método llamado inverse_transform() para tal propósito

@10955356 7 ай бұрын

Excelente!

@Bryanrojasruiz Жыл бұрын

gracias por el video, tengo una consulta: aplico estandarizacion robusta para mis variables cuantitativas principales que tienen una CORRELACION NO LINEAL. ?

@CodigoMaquina Жыл бұрын

Gracias por tu comentario y por tu pregunta. En general, la estandarización y el escalamiento se aplican a todas las variables cuantitativas. Ya sea antes o después, se puede explora si tienes variables altamente correlacionadas, lo cual podría derivar en la eliminación de alguna de ellas. Ojalá la respuesta sea de utilidad :)

@danielc.s.8399 4 ай бұрын

Solo queria hacer una correccion, el RobustScaler esta mal la formula, es (X-mediana(X))/Rangointercuatilico, no me dío la formula que tienes tu ahi 15:22, no se calcula con desviacion estandar aunque pueda ser muy cercano a 1, el iqr = 1 despues del escalamiento, ese es el que quiere hacer 1 y la mediana = 0

@waltersantiagocoronadobudi2469 2 жыл бұрын

Una consulta, a que te refieres cuando mencionas los out layers?, de antemano buena explicacion de este tema, otros canakes solo enseñan como usarlo y no explican el contexto

@CodigoMaquina 2 жыл бұрын

Los Outliers son datos atípicos o anómalos dentro de un conjunto de datos. Por ejemplo, la persona más rica del mundo es un dato atípico. Esa persona es muchísimo más rica que la gran mayoría. Tenemos un video que justo explica ese concepto utilizando diagramas de caja en caso de que desees verlo: kzfaq.info/get/bejne/rdmWiZdytJ65dqs.html

@jeanfabraruiz7994 Жыл бұрын

¿Se debería normalizar las columnas específicas que tengan altas varianzas o todo el dataframe?

@CodigoMaquina Жыл бұрын

Gracias por la pregunta. Es práctica común estandarizar/escalar todas las columnas independientemente de la varianza.

@victormanueljimenezguido2353 6 ай бұрын

Como puedo acceder a esos datasets

@marlymargaritacadenamedina2570 2 ай бұрын

Profe algun libro que me recomiendes?

@antonellars22 Жыл бұрын

Buenas, estoy haciendo el curso de maching learning, y me gustaría saber en que orden podría empezar a ver tus videos? ¿La lista que tienes de Ciencia de Datos está ordenada ?

@CodigoMaquina Жыл бұрын

Muchas gracias por ver nuestros videos y por interactuar con el contenido. Te comento que las listas de reproducción sí tienen cierto orden, sin embargo, su propósito está más asociado a agrupar contenido. Por ejemplo, para trabajar en machine learning con python, es necesario conocer sobre numpy y pandas que no son exclusivos de machine learning, y por tal razón, esos temas no están incluidos en esa playlist. Aunque debo mencionar que en el canal también tenemos listas de reproducción sobres Pandas y Numpy. Entonces, mi sugerencia es que entres a la página del canal y sigas el orden de subida de los videos brincándote aquellos temas que ya sean familiares para ti.

@davidcopperfield2149 7 ай бұрын

Tengo una duda porque es importante pasar los datos categóricos a datos numéricos. ¿Puede haber en un dataframe normalizados datos categóricos?

@darwingodoy1653 7 ай бұрын

La mayoria de modelos de machine learning trabajan con datos numericos, si no deseas hacer ML no es necesario trasformar los datos.

@BrownieData 10 ай бұрын

Necesito ayuda, necesito hacer una normalizacion de un base de datos de excel pero esta una columna que abarca 7 columnas es decir arriba de las columna t1,t2,t3,t4,6 meses, 9 meses , anual y nos encargaron hacer preprocesamiento para hacer la normalizacion pero no se por donde empezar😢

@BrownieData 10 ай бұрын

Son muchos datos desde el año 1980 hasta el 2022

@CodigoMaquina 7 ай бұрын

@BrownieData espero hayas logrado culminar tu proyecto con éxito. Lo mejor para este nuevo año!!!

@Lucas-kh2wm Жыл бұрын

como desnormalizamos en cada uno de ellos?

@CodigoMaquina Жыл бұрын

Lucas gracias por la pregunta. Con respecto a ella, las mismas clases de MinMaxScaler y StandardScaler tienen un método llamado inverse_transform() que justo realiza la transformación inversa de los valores. Gracias por seguir el contenido del canal :)

@Lucas-kh2wm Жыл бұрын

@@CodigoMaquina gracias, en caso de un normalize ??

@brayanisaiperezvalenzuela8435 Жыл бұрын

cuando convierto los valores de numpy a dataframe me pone error datos_normalizer=pd.DataFrame([datos_normalizer],columns=["PM2.5","PM10","CO","C02","TEMP","HUM"]) /usr/local/lib/python3.9/dist-packages/pandas/core/internals/construction.py in _prep_ndarray(values, copy) 553 values = values.reshape((values.shape[0], 1)) 554 elif values.ndim != 2: --> 555 raise ValueError(f"Must pass 2-d input. shape={values.shape}") 556 557 return values ValueError: Must pass 2-d input. shape=(1, 8000, 11)

@CodigoMaquina Жыл бұрын

Brayan, gracias por la pregunta. Con el contexto brindado, no alcanzo a ver cuál podría ser el error. Espero que ya se haya solucionado el problema. Gracias por seguir el contenido del canal.