Montezuma's Revenge - ¿Hito del Aprendizaje Reforzado?

Montezuma's Revenge - ¿Hito del Aprendizaje Reforzado? | Data Coffee #8

Рет қаралды 134,252

5 жыл бұрын

Montezuma's Revenge se ha ganado su popularidad por ser uno de los juegos más dificiles de resolver para un algoritmo de aprendizaje reforzado. Recientemente, Uber Labs ha mostrado un trabajo de su IA Go-Explore, en el que afirman haber superado este juego con creces!!! ¿Quieres saber cómo funciona?
¡Dale al play!
-- LINKS --
ARTÍCULO: Go-Explorer! (Uber)
/ r_montezumas_revenge_s...
REDDIT - Discusión sobre Go-Explore
/ r_montezumas_revenge_s...
PAPER - Sticky actions
arxiv.org/pdf/1709.06009.pdf
ARTÍCULO - Learning Montezuma’s Revenge (OpenAI)
blog.openai.com/learning-mont...
ARTÍCULO - Obstacle Tower (Unity)
blogs.unity3d.com/es/2019/01/...
-- ¡MÁS DOTCSV! ---
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
-- ¡MI TECNOLOGÍA! ---
** Aquí no está toda mi tecnología, sólo aquella que realmente recomiendo. Usando estos links de Amazon yo me llevaré una comisión por tu compra :) **
[Tecnología básica para KZfaq]
💻 Portátil - MSI GP72 7RDX Leopard : amzn.to/2CDwvgY
📸 Cámara - Canon EOS 750D : amzn.to/2CDPqbi
👁‍🗨 Objetivo 1 - EF 50 mm, F/1.8 : amzn.to/2CH7npx
👁‍🗨 Objetivo 2 - EF-S 18-135mm : amzn.to/2DuhL5t
👁‍🗨 Objetivo 3 - EF 24 mm, F/2.8 : amzn.to/2AYAFQm
🎤 Microfono - Blue Yeti Micro : amzn.to/2RItA0I
💡 Foco Luz - Foco LED Neewer : amzn.to/2AYCM6K
🌈 Luz Color - Tira ALED Light : amzn.to/2B2iY2l
[Mis otros cacharros]
📱 Smartphone - Google Pixel 2 XL : amzn.to/2RMuY2v
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colaboradores
#Scenio

Пікірлер: 227

@DotCSV 5 жыл бұрын

📸 Sígueme en Instagram para más contenido tras las cámaras : instagram.com/dotcsv/ 💸 ...y apoya el canal en Patreon!!! : www.patreon.com/dotcsv

@zoramthewizard 5 жыл бұрын

Muy interesante y muy objetivo la forma de analizar lo publicado. Hace poco descubrí el canal, ¡y es excelente! Saludos desde México.

@mazzorecords 4 жыл бұрын

Eres venezolano bro?

@DotCSV 5 жыл бұрын

ACTUALIZACIÓN (04/02/2019) : Justo el mismo día que he publicado este vídeo, se ha hecho público el paper de Go-Explore que echábamos en falta : arxiv.org/pdf/1901.10995.pdf Lo se, el café ha quedado larrrrgo... ¡Tan largo como interesante! Y además hemos aprendido unas cuantas cosas interesantes del mundillo del Aprendizaje Reforzado. Si también quieres participar en la elección del próximo Data Coffee, y/o valoras la calidad de este contenido en KZfaq, pues... ¿Por qué no te planteas unirte a Patreon? :) www.patreon.com/dotcsv ¡Muchas gracias!

@germandavidmurillasmondrag4004 5 жыл бұрын

nada, son 30 minutos de alegría para nosotros, no se moleste en dejarlo en 3 partes, no hay necesidad

@martiddy 5 жыл бұрын

Sería interesante si hablaras sobre la nueva IA AlphaStar en la que DeepMind está trabajando. Tiene mucho sobre que hablar.

@josicoSiete 5 жыл бұрын

Una duda... Si el entorno no presenta perturbaciones aleatorias, el algoritmo está "sobreentrenado", si es que existe eso en aprendizaje por refuerzo? Porque claro, yo veo la pantalla simplificada, hago 4-5 posibles movimientos y me quedo con el que me de más recompensa, cuando vuelva a ese mismo punto solamente repito lo que ya he memorizado. O no?

@DadReXXTeRmiNiUm 5 жыл бұрын

Tu para coffe break vas bien

@jorgeeduardovicentehernand2232 5 жыл бұрын

Esta bueno!!!

@tunestar 4 жыл бұрын

Sos el mejor comunicador de IA en español, te felicito.

@adrianmarki4457 5 жыл бұрын

Directo al patreon! Creo que te mereces tambien una compesacion economica por lo que haces

@linerider195 5 жыл бұрын

Secundo la moción, de los mejores canales que conozco

@jonathanantoni5779 4 жыл бұрын

Cuanto cuesta el patreon?

@gabrilrh 5 жыл бұрын

Estoy fascinado de tu canal y tus videos, sigue así

@waldoiglesias 2 жыл бұрын

Wow !! Excelente!! recuerdo tardes enteras de pequeño tratando de avanzar en este juego. Tremendo video asociado a él. Incluso no alcanzas a mostrar todas las dinámicas que trae este juego, por ejemplo en algún punto debes encontrar una "antorcha" para poder iluminar las siguientes pantallas. Recuerdo que luego de jugar tanto tiempo, continuábamos a oscuras, a tientas (sin ir a buscar dicha antorcha), ya que conocíamos de memoria el juego. Pero todo esto luego de muchísimo tiempo. Es increíble lo que puede realizar este algoritmo. Gracias por tu video y la tremenda info, y gracias por llevarme unos momentos nuevamente a mi niñez.

@emmanuelbustamante6659 Жыл бұрын

cada tanto vuelvo a estos videos para recordar lo mucho que avanzó la IA en estos años

@PostrakCDP 3 жыл бұрын

27:30 pensé que era un chiste referente a la pandemia y después vi la fecha de publicación.

@JulianBolivarGaleno74 5 жыл бұрын

Muy bueno el vídeo, de verdad uno de los pocos canales que se meten con detalles técnicos en AI, soy un nuevo seguidor. Felicitaciones

@josicoSiete 5 жыл бұрын

Por fin aprendizaje supervisado! Se esperaba desde hace tiempo

@angel-ig 4 жыл бұрын

Reforzado*. Si te interesa puedes mirar su otro canal (NotCSV).

@emyg.1039 4 жыл бұрын

Antes de conocer este canal no usaba mucho youtube, ahora parezco una adicta, me motiva mucho para seguir aprendiendo y avanzando, de verdad muchas gracias por darte el tiempo, hasta me he creado una cuenta en switch a ver si me da tiempo de ver los directos ! Mil gracias

@carloschacon8751 4 жыл бұрын

Hasta ahora conozco tu canal! estoy devorando tus videos, me parece increible tu aporte como divulgador, GRACIAS por hacer comprensible ese mar de conceptos. Feliz año nuevo

@arketekoakete9639 5 жыл бұрын

Buah! que gustazo! Por favor continua subiendo "Muchitos" vídeos mas tan interesantes como este !!!

@franciscoyoutube891 5 жыл бұрын

Excelente calidad audio-visual y profundización en la materia, muy motivador. Mucho ánimo, vas a llegar muy lejos.

@ahoraparchis 5 жыл бұрын

Madre mía, ciertamente este vídeo es tan exquisito en aspectos técnicos de IA, que debe equivaler en puntuación a la asistencia a una conferencia, o incluso un Master. Yo lo pienso poner en el currículum. Muchas gracias Carlos por la currada. Me surgen dudas. El algoritmo saca dos millones de puntos. ¿En cuanto tiempo? ¿Si reinicias desde cero el algoritmo, no hace exactamente los mismos movimientos? ¿Cuenta con libre albedrío? ¿Podría sacar más puntos, reiniciando su conocimiento y volviéndolo a intentar? Perdona, quizás sean tonterías. Pero me interesa mucho. Gracias nuevamente por el vídeo.

@luisparrado3622 5 жыл бұрын

No había visto tus ultimos videos y estan geniales, los veo todos. de verdad mereces patreon, vas a dejar una muy buena huella en youtube,

@gerardoprado4225 5 жыл бұрын

Casi tuve un orgasmo cerebral con este video xD Ya no tengo palabras para expresarte lo bueno que es el contenido de tu canal, no me cansaré de felicitarte ;) espero que sigas adelante, el mejor canal de inteligencia artificial de KZfaq.

@daniels35 5 жыл бұрын

Que tema tan interesante , por eso digo que no debería haber crítica mala , se está haciendo historia con todo esto.

@galoheredia6622 5 жыл бұрын

Es sorprendente la de términos del campo del control/automatización que se emplean en IA, el modelado de los sistemas, el determinismo, el feedback, vamos, como que me he enterado de todo sin problema! Muy guay el vídeo!

@luzluz2054 5 жыл бұрын

Sos lo mas!!!! Totalemente de acuerdo, creo que sos el unico que hace semejante laburo en espanol! Miles de gracias!!!

@javiergonzalez552 5 жыл бұрын

Agradezco tanto este tipo de videos!

@onamdiaz1399 5 жыл бұрын

Muy buen video! Muy claro , me tiene muy emocionado este tema de IA

@kascesar 5 жыл бұрын

Muy buen video, cuando tenga como apoyarte lo voy hacer, me saco unas cuantas risas y aprendí cosas nuevas

@abeaumont10 5 жыл бұрын

Muy genial el video, lo estoy recomendando por todos lados. Gracias, gracias, gracias.

@bhhhfubufe290 5 жыл бұрын

Gran video como siempre. El mismo video explicado en python seria la leche :-)

@sirosala 2 жыл бұрын

Simplemente excelente !!! Saludos desde Rosario - Argentina

@alejandrobrun 3 жыл бұрын

Impresionante informe. Muchas gracias por compartir tu conocimiento

@richardinver 4 жыл бұрын

Me encantan todos los que he visto, me apasiona el tema de las ia y cada video que veo siento es la puerta a un universo del conocimiento

@maty356 5 жыл бұрын

El video es largo pero es, sin embargo, entretenido. Buen trabajo! Me alegro que hayas hablado del aprendizaje reforzado

@arturoyogmail 4 жыл бұрын

Jajajaja dice que se ha mantenido en “cuarentena” que visionario tio!!!

@SuperPacobelloso 4 жыл бұрын

No entiendo.Quiero entender y me encanta .Recuerdo el que os sorprendió por la inesperada estrategia de los muñecos rojos a partir del minuto 7 mas o menos de coger un cubo que trepaban y surfeaban hasta meterse en el escondite de los azules en el juego del escondite.Es algo fantastico que magistralmente explicaste para un profano como yo.

@dramon29 5 жыл бұрын

Excelente explicación! Creo que te mereces un nuevo Patreon @

@cristianvegasanchez1654 5 жыл бұрын

De los pocos que hablan de estos temas y genial!

@JoseMaria-qw9cz 5 жыл бұрын

Magnífico trabajo Carlos!! 👏👏

@cozielny93 4 жыл бұрын

amo tu canal hermano, que calidad de contenido. Soy de Honduras, estudiando actualmente en Cornell University un Master en Ingenieria en Sistemas. En agosto empiezo un doctorado y mi investigacion se orientara en AI aplicada en sistemas de manufactura. Tus videos realmente son una fuente inmensa de inspiracion, expertiz tecnica, y guia. Un abrazo!

@ariananunez4663 5 жыл бұрын

Me encantan tus viedos tienes buena informacion!!!

@marcosmatilla4123 5 жыл бұрын

Llevo 5 segundos y ya es un pedazo d video

@ziskador 5 жыл бұрын

A mi me parece que es un video entero xD

@Rahgechanel 5 жыл бұрын

@@ziskador a los 5 segundos aun era un pedazo de video

@ziskador 5 жыл бұрын

@@Rahgechanel Cierto...

@windrider3641 4 жыл бұрын

Eres un auténtico crack! Haces que mi pobre cabeza exploté con mucha frecuencia, aún así, ahí he dejado una vez más mi refuerzo positivo Haha 👍

@alfredonoboa 5 жыл бұрын

Excelente vídeo, toma tu señal positiva de recompensa.

@Developerpe 5 жыл бұрын

Luego del productivo Twitch jajaj, buen vídeo, esperando el siguiente 💪💪

@EcoDev-Solutions 4 жыл бұрын

Guau te felicito por el esfuerzo que le dedicaste a este video y que de seguro no fue fácil, pero si te confieso que desde el inicio a fin fue todo fue excelente. Fueron 30 minutos muy gratificantes. Ya tienes mi like. Saludos cordiales.

@Rahgechanel 5 жыл бұрын

Dot CSV, donde se puede estudiar machine learning hasta terminar implementando estructuras?

@dauid89 5 жыл бұрын

Excelente contenido, como siempre! 👍👍👍

@glockenspiel_ 5 жыл бұрын

Qué buen video , super interesante.

@MihaiTopan 5 жыл бұрын

Genial trabajo. Me ha gustado mucho y además mi hija se ha dormido escuchándote

@carlosmartinezdelfgaauw5046 5 жыл бұрын

Buenísimo como siempre. El final 🤣🤣👍. Tan solo el principio un poco desagradable 😫, pero es solo una anécdota 👍👍👍💪

@slackerzero9719 22 күн бұрын

Lo maximo, seria genial poder ver un video sobre el modelo de DreamerV2

@davidrivasredondo 5 жыл бұрын

Buenisimo!!! Muchas gracias. Tienes un nuevo suscriptor

@masaru8162 5 жыл бұрын

Muy interesante. 🤔 Se agradece tener este tipo de contenido en español. 👌

@PaulD-pj 3 жыл бұрын

toma tu señal positiva! Gracias por compartirnos tu conocimiento de AI . Mi profesión no tiene nada que ver con estos aspectos, pero que bien me la paso escuchando y viendo tus explicaciones. Otra vez muchas gracias :)

@pabloberrettella6288 3 жыл бұрын

Excelente trabajo!! Al parecer se podría mejorar el sistema de aprendizaje logrando identificar las recompensas intermedias con más facilidad. Hacer esto con un algoritmo simple es otro tema 🤣🤣🤣

@fkoby 5 жыл бұрын

Excelente, como siempre !

@AlbertoPobla 4 жыл бұрын

Muchas Gracias. Saludos desde Valencia. :)))))) P.D. Que susto me has dado al final mamoncio :))))))

@MauricioCidLobos 5 жыл бұрын

Buen trabajo Carlos!

@enzodiaz9224 5 жыл бұрын

JAJAJAJAJAJ tuve que ver éste video hace dos semanas! Reducir la imagen a pixeles es la solución perfecta a mi problema! Gracias por compartirlo, en serio! Nunca pensé que reducir una imagen en paint me causara tanta alegría.

@gonzaloamadorhernandez7020 Жыл бұрын

increible trabajo!!!! eres un crack!!!!

@leviguerrag 5 жыл бұрын

Como siempre brutal el vídeo. Y el final

@serome111 5 жыл бұрын

dejare esto por si sale el link

@bobobo1673 5 жыл бұрын

@victorandresdelapuente9882 5 жыл бұрын

Buen interesante el vídeo, imperdible , gracias (y)

@Dadrios 5 жыл бұрын

Pedazo trabajo compañero.

@Sclark2006 4 жыл бұрын

Excelente vídeo. Me tardé para verlo me he aprendido bastante. Tal vez la infrmación complementario del nivel podría codificarse como un vector y alimentarse también a la red.

@glenns7790 5 жыл бұрын

Grandísimo vídeo Aprendí nuevas cosas

@PedroRVFG 5 жыл бұрын

Ya se me había olvidado que existías, menos mal que me llegó la notificación, bendita campanita

@EdViaja 5 жыл бұрын

Buen nivel de explicación :) sigue así.

@matiasgerardcuelloscavetta8429 5 жыл бұрын

Seria interesante ver mas videos sobre aprendizaje reforzado

@israelalbertodavilarodrigu7697 2 жыл бұрын

Gracias por tu aporte.

@caramburu 5 жыл бұрын

Estoy pensando seriamente en apoyar económicamente a este canal. Buen video.

@gmarsi 5 жыл бұрын

nunca dejas/dejes de sorprendrnos. chapó

@jormansandoval7357 5 жыл бұрын

excelente video¡¡¡¡

@thiamath 5 жыл бұрын

Media hora de sabiduría!!!!!! Al patreon que voy

@Lacend_Mecatronics 5 жыл бұрын

Excelente vídeo.

@LUISANGEL27 5 жыл бұрын

Gracias por el video

@rubendarioacosta4221 5 жыл бұрын

recompensado con pulgar arriba.

@AdrianFernandezFazio 5 жыл бұрын

Excelente canal y excelente video! Quizás me pasó solo a mi, pero al principio del vídeo se cortó el sonido por unos segundos. Saludos!

@GtAbimael 5 жыл бұрын

Enserio hay personas que le dan dislike a tus vídeos? Wow que tontos. Gracias por subir videos.

@faqdx 4 жыл бұрын

No tengo la menor idea cómo llegué acá!!! Pero me quedé pegado de principio a fin. No tengo ni idea de AI, me gustaría estudiar algo de programación y luego algo de AI. Pero estudio medicina y hasta que no termine, no tengo la menor chance de entrar en el ignoto universo de los algoritmos. Ya medicina me resulta bastante difícil y avanzo a duras penas, por lo que se me hace difícil en el corto mediano plazo que me introduzca en estos conocimientos, aun así, me resulta súper motivante saber aunque sea superficialmente algo de cómo vienen las cosas por la AI y su posible aplicación en medicina, en particular en entornos hostiles como la Antártida, o en lugares aislados por su lejanía a los centros urbanos

@jaysonmunoz8342 5 жыл бұрын

Magnífico video y muy informativo. Sin embargo, al verte jugar al Montezuma's Revenge me ha surgido una duda. ¿Es posible que un algoritmo utilizado para resolver un determinado juego plataformero, por ejemplo, pueda resolver otro del mismo tipo recordando mecánicas de jugabilidad similares? Lo pregunto porque mientras jugabas hablaste de conocimiento previo que por una cuestión de lógica te ayudaría a resolver algo similar. Algo muy acertado claramente. Pero, ¿qué tan cierto o factible es este comportamiento en el machine learning? Reitero mis felicitaciones por el tremendo trabajo que realizas. ¡Saludos!

@eliasmuga1609 2 жыл бұрын

Sería genial... Hacer esto con juego retro (BOULDER DASH)...Saludos desde Chile...

@onamdiaz1399 5 жыл бұрын

Muy interesante

@oniricforge Жыл бұрын

que interesante tema

@javiermorales611 5 жыл бұрын

un 10! como siempre... ;)

@profeluz8361 3 жыл бұрын

Genio!!!

@almaguerrero3041 5 жыл бұрын

Ojala no dejes de subir videos, te convertirás en el Javier Santaolalla de la inteligencia artificial

@ivana6754 5 жыл бұрын

Genial !!

5 жыл бұрын

Mientras más extenso el video mejor uwu

@angeloliver2825 4 жыл бұрын

Ojala me leas. La solucion del sampling 11x8 para versiones en 3d, seria la implementacion de un doble sampling. Y puedo comentar mas pero me gustaría saber tu opinion primeramente.

@Felhek 4 жыл бұрын

Amé este juego de chico. Era muy adictivo

@hugopoblete3535 5 жыл бұрын

Muy bueno

@luisx189 4 жыл бұрын

Con todos estos datos quizas podria enseñarle a mi gato a prepararse un cafe

@juantipan8453 5 жыл бұрын

wooo vaya recompensa de curiosidad para mi cerebro

@Ateyecus 2 жыл бұрын

Me enamore de este hombre bello.. jaja, vamos a tomar algo 😃

@MrPianica 3 жыл бұрын

Gracias amigo, no se tu nombre pero desde Uruguay te mando un gran saludo y te deseo un próspero 2021.

@CarlosGarcia-xl3wi 5 жыл бұрын

Muchas gracias por tus videos, son excelentes. Una pregunta, es necesario hacer una maestría para poder aprender sobre inteligencia artificial? O puedo estudiar por mi cuenta?

@diegodesdecolombia 4 жыл бұрын

El mejor intro

@sergiomo9977 2 ай бұрын

Enserio esto fue hace 4 años ? parece que fue aller, 🙂, Muy buen contenido, y sirve mucho para el repaso.

@joaquinjavaloyesruiz8040 4 жыл бұрын

Acojonante.

@ChFernandezRios 5 жыл бұрын

uy buenísimo

@MuchoLOLOLOLOL 5 жыл бұрын

Hola, son geniales tus videos. Me gustaria que recomiendes algunos libros para empezar en el tema de la IA

@Basti-im5fb 5 жыл бұрын

Buen vídeo

@MaximoPower2024 4 жыл бұрын

Hay una obsesión absurda en no dar información a los algoritmos de IA, cuando en realidad el ser humano, cuya inteligencia tratan de simular, no podría aprender sin toda la información extra que recibe. Quizás lo que se trata de ocultar es que, incluso recibiendo información extra, las limitaciones materiales siempre van a suponer un obstáculo insalvable a cualquier intento de crear una IA de propósito general. Es imposible simular un cerebro humano. Necesitaríamos codificar una cantidad de información que está muy por encima de nuestras posibilidades, en un orden de magnitud muy elevado, y recordemos que el agotamiento de los recursos energéticos globales tiene también un impacto sobre las posibilidades de desarrollo futuras de este ámbito.