Pythonで重回帰分析をしてみよう【Python機械学習#4】

Рет қаралды 15,164

データサイエンス塾!!

4 жыл бұрын

ここからは教師あり学習編です。まずは、基本の回帰分析から。
Excelでも出来ますが、式が複雑になったり、システムに組み込んだりする場合にはPythonで行った方が効率的でしょう。

Пікірлер: 21

@nishimaki 3 жыл бұрын

本動画で使用しているソースとファイルのダウンロードは下記URLからどうぞ。 analysis-navi.com/?p=3868

@user-qk6sx7qe7j 2 жыл бұрын

df.columns が利用できないのですが、原因がなにかわかりますか？エラーコード KeyError: "None of [Index([''], dtype='object')] are in the [columns]"

@nishimaki 2 жыл бұрын

データフレームの列名が認識されていないのですかね。ソースコードとcsvはダウンロードしたものをお使いでしょうか？

@hor9184 3 жыл бұрын

predictするときテストデータが少ないとエラーが出るんですが原因ってわかりますか？ predictのときに教師データと同じもの入れたりするとそれは上手く予測してくれるんですけど。

@nishimaki 3 жыл бұрын

エラーの内容が分からないので何とも言えない所ではございますが、テストデータが少なくてもpredictは実行できるはずです。まずは、説明変数の数は教師データと合っているか、Excelのデータは正しくPythonに読み込めているか、などを確認されると良いかなと思います。

@hor9184 3 жыл бұрын

予測するデータが入ったエクセルの行数を5から1にするとエラーが出ます。5ならエラーが出ません。 shapes(1,16)and(17,)not aligned:16(dim 1)!=17(dim 0)って感じですおそらくデータ数が1だったりすると何故か切片にかかる1の要素が入れられてないみたいです。

@nishimaki 3 жыл бұрын

調査した所、仰る通りデータ数が1件ですとsm.add_constantで「const」の列が追加されずエラーになるようです。（バグなのでしょうか。。。）なので、カッコ悪いですがcsvに同じデータを2件入れて実行する、もしくは下記のように手動で「const」の列を追記して実行するとテストデータが1件でも実行できるようです。 result.predict(sm.add_constant(df_future[X_name])) ↓ result.predict(pd.concat([pd.DataFrame([1.0],columns=["const"]), df_future[X_name]], axis=1)) 無理やりな対処ですみませんが、こちらでいかがでしょうか。

@hor9184 3 жыл бұрын

@@nishimaki ありがとうございます！試してみたいと思います

@user-do8nb8di6g 3 жыл бұрын

このようなデータをどのように収集したらいいのでしょうか

@nishimaki 3 жыл бұрын

今回扱っているデータは、私が適当に作成したデータとなります。実際は、例えば気象庁のページから天候情報などを取得して、そこに自社固有のデータをくっ付けるなどして作成することになるかと思われます。

@user-do8nb8di6g 3 жыл бұрын

@@nishimaki ご返信ありがとうございます。現在、データ採取に苦戦中です。いつも参考にさせていただいております。今後も動画投稿楽しみにしております。

@TE69. 2 жыл бұрын

pytorchはコレに使えますか？

@nishimaki 2 жыл бұрын

ご視聴ありがとうございます。Pytorchで重回帰分析を行う方法、といった意味で宜しいでしょうか？あまり一般的に用いられる事はない気がしますが、下記サイトなどをご参考にして頂くと実行できるようです。ご参照ください。 www.magata.net/memo/index.php?PyTorch%A4%C7%BD%C5%B2%F3%B5%A2%CA%AC%C0%CF

@user-sv6bi6mv1f 2 жыл бұрын

モーションセンサーで機械学習を使いたいのですが、上下に動かすとある動作をさせるようなものを作りたいのですが。モーションセンサーで上下に振る動作のデータがx軸、y軸、z軸の加速度などの数値がそれぞれ２０個以上あります。このような数値を機械学習をしたいときどのような学習方法をすればよいでしょうか？

@nishimaki 2 жыл бұрын

20個以上ある変数がすべて説明変数で、「ある動作」が目的変数になりますね。例えば「x軸=0.5、y軸=0.1、z軸=-0.2、、、、だった場合、動作は〇〇」といった要因と結果のセットを大量に機械学習に学習させる事になるかと思われます。

@GTmattu 8 ай бұрын

散布図での表記もしてほしかった

@F20Tigershark2007 Жыл бұрын

いつも本当にわかりやすい講義感謝しています。気温、価格　の数値を標準化もしくは正規化する必要はこのようなケースの場合ありませんか？正規化して実装しようとしてみたんですが、価格がゼロになってしまいました。本質とは違う質問になってしまいますが、どうしてでしょうか？【コード】 from sklearn.preprocessing import MinMaxScaler # 標準化したいカラムを用意 scaling_columns = ["temperature", "price"] scaler = MinMaxScaler([0,100]) # DataFrameにfit sc = scaler.fit(df_past[scaling_columns]) scaled_df_past = pd.DataFrame(sc.transform(df_past[scaling_columns]), columns=scaling_columns, index=df_past.index) df_past.update(scaled_df_past) df_past_SC=df_past 【out】 sales temperature price rainy 0 401 0.462963 33.333333 1 1 345 0.000000 0.000000 1 2 480 21.296296 0.000000 1 3 590 40.740741 33.333333 0 4 928 71.296296 66.666667 0

@nishimaki Жыл бұрын

こちらこそご視聴ありがとうございます！コードを拝見すると、処理は正しく出来ているように思えます。データを0〜100に正規化する処理を行われていますが、priceの最低値が180、最高値が240なのでこれらがそれぞれ0と100に変換されます。なので、元データが180の箇所はすべて0、元データが240の箇所はすべて100となります。ちなみに回帰分析の前に正規化する事自体は誤りでなく、ゼロになったからと言って間違いという訳ではありません。

@F20Tigershark2007 Жыл бұрын

@@nishimaki ご回答ありがとうございます。そうですよね、ボトムが0でも問題ではないんですね。よくわかりました。