No video

Pythonで次元削減(次元圧縮)してみよう【Python機械学習#1】

  Рет қаралды 11,138

データサイエンス塾!!

データサイエンス塾!!

Күн бұрын

Pythonによる機械学習入門シリーズ、第1弾は次元削減です。
次元削減の手法もPCA(主成分分析)、t-SNEなど色々ありますが、本動画では「この2つを覚えておけばとりあえず困らない」と思われる、「特異値分解(SVD)」と「UMAP」をご紹介します。

Пікірлер: 22
@Manabu-dg2yl
@Manabu-dg2yl 6 ай бұрын
いつも、 勉強になっております。 是非、因子分析も講義動画をあげて頂けると嬉しいです!
@nishimaki
@nishimaki 6 ай бұрын
こちらこそご視聴ありがとうございます! 因子分析について、ネタ帳に追加させて頂きます!
@user-ki7nf3el5m
@user-ki7nf3el5m 2 жыл бұрын
わかりやす!2日悩んでた次元削減が理解できました。ありがとうございました
@nishimaki
@nishimaki 2 жыл бұрын
お役に立てたようで何よりです!
@no55693
@no55693 2 жыл бұрын
具体的な手順も教えていただきわかりやすいです。ありがとうございます。
@nishimaki
@nishimaki 2 жыл бұрын
こちらこそご視聴ありがとうございました!
@nishimaki
@nishimaki 3 жыл бұрын
本動画で使用しているソースとファイルのダウンロードは下記URLからどうぞ。 analysis-navi.com/?p=3868
@atsumae1153
@atsumae1153 3 жыл бұрын
次元削減、非階層クラスタリング、階層クラスタリング 3点セットは、私にとって神動画でした。 コードの知識は、正直、全然ですが、この動画のおかげでできるかも?!と、すこし前向きになれました。 ほんとうに感謝です。本当にありがとうございます。😭
@nishimaki
@nishimaki 3 жыл бұрын
大変嬉しいコメント、ありがとうございます! とても励みになります。今後とも、よろしくお願いいたします。
@takashiyoshii
@takashiyoshii 2 жыл бұрын
すごく参考になりました。色々分類して楽しめそうです。 UMAPには寄与度や情報量を知る方法は無い感じでしょうか。
@nishimaki
@nishimaki 2 жыл бұрын
ありがとうございます! 私の知る限りではUMAPの変数寄与度を知る方法はないですね。。。 分類の精度を見たいということでしたら、例えば2次元に圧縮した後のベクトルを用いてk-means法でクラスタリングし、Purityなどの指標を用いて評価することができます。
@user-hn7wf4hi9f
@user-hn7wf4hi9f Жыл бұрын
大変勉強になりました! 質問なのですが、SVDの際にx軸に第2主成分、y軸に第3主成分など出来るのでしょうか? もしよろしければ教えていただくと幸いです。
@nishimaki
@nishimaki Жыл бұрын
ありがとうございます! はい、そのためにはまず2次元でなく3次元に圧縮して、リストの0番目と1番目ではなく1番目と2番目を用いて図を作成すれば良いかなと思います。
@user-hn7wf4hi9f
@user-hn7wf4hi9f Жыл бұрын
@@nishimaki ありがとうございます! さらに質問申し訳ないです。第3主成分が何を表しているかわからなかったので、動画のX_compとY_comp〜のコードを試した所、「too many values to unpack(expected 2)」というエラーか出てしまいました。 これは3次元になってるので新たにZ_compのようなモノを生成する必要があるって認識で宜しいのでしょうか?
@nishimaki
@nishimaki Жыл бұрын
はい、ご認識の通り、次元数に合わせて変数は調整する必要がございます。
@hiroaki1724
@hiroaki1724 2 жыл бұрын
大変勉強になりました. 質問なのですが, 正規化や標準化を行う場合は次元削減の後にやるのでしょうか? 次元削減の前にそれらを行うと寄与率が低くなったので,やはり後にやるのが正解でしょうか?
@nishimaki
@nishimaki 2 жыл бұрын
ご視聴ありがとうございます。 標準化と次元削減の順序は難しい問題ですね。。。 ですが、基本的には標準化・正規化は分析前のデータ整形のステップになるので、次元削減前に行うのが一般的なのではないかな、という気がします。 ただ、どちらが悪いということは無さそうですね。 下記ページも参考になるかと思いますので、ご確認ください。 teratail.com/questions/125409
@hiroaki1724
@hiroaki1724 2 жыл бұрын
@@nishimaki ご返信ありがとうございます. どちらかといえば次元削減前にやるほうが一般的ですが,そこまで差はない,という解釈をしました. 勉強中ですが,参考になりました ほかの動画も視聴し勉強したいと思います
@yoshitakanishikawa1020
@yoshitakanishikawa1020 3 жыл бұрын
使用されているデータってブログに貼られてましたか?
@nishimaki
@nishimaki 3 жыл бұрын
先ほど、以下にアップロードさせて頂きました。 よろしくお願いいたします。 analysis-navi.com/?p=3868
@kenken-ik1mo
@kenken-ik1mo 2 жыл бұрын
サンプルデータをいただけませんか?
@nishimaki
@nishimaki 2 жыл бұрын
本動画のソースコードとサンプルデータは下記URLにアップロードしております。 analysis-navi.com/?p=3868#%E6%AC%A1%E5%85%83%E5%89%8A%E6%B8%9B%EF%BC%88%E6%AC%A1%E5%85%83%E5%9C%A7%E7%B8%AE%EF%BC%89
PythonでK-meansクラスタリングしてみよう【Python機械学習#2】
13:04
データサイエンス塾!!
Рет қаралды 9 М.
Kind Waiter's Gesture to Homeless Boy #shorts
00:32
I migliori trucchetti di Fabiosa
Рет қаралды 15 МЛН
Before VS during the CONCERT 🔥 "Aliby" | Andra Gogan
00:13
Andra Gogan
Рет қаралды 10 МЛН
Whoa
01:00
Justin Flom
Рет қаралды 31 МЛН
UMAP explained | The best dimensionality reduction?
9:16
AI Coffee Break with Letitia
Рет қаралды 60 М.
Explain dimensionality reduction by singular value decomposition!
7:02
K_DM【機械学習 x Python】
Рет қаралды 4 М.
データ分析初心者のためのPythonオススメ勉強法
7:42
サトシのデータ分析部屋
Рет қаралды 13 М.
【次元圧縮】t-SNE (t -distributed Stochastic Neighborhood Embedding)の理論
28:30
山下雄史のYouTube研究室
Рет қаралды 4,1 М.
Pythonで時系列分析してみよう#2〜自己相関、波形分解など〜
24:58
データサイエンス塾!!
Рет қаралды 10 М.
主成分分析(PCA)の気持ち
35:09
予備校のノリで学ぶ「大学の数学・物理」
Рет қаралды 47 М.
Pythonで生物DNA(ゲノム)分析をしてみよう【BioPython入門】
16:52
データサイエンス塾!!
Рет қаралды 5 М.
Kind Waiter's Gesture to Homeless Boy #shorts
00:32
I migliori trucchetti di Fabiosa
Рет қаралды 15 МЛН