LambdaでLightGBMを使おうとしてエラーになった話
タイトルの通りで、機械学習のAPIを作成したく、LambdaでLightGBMを使おうとしたところ、次のエラーが出てしまいました。 libgomp.so.1: cannot open shared object file: No such file or directory libgomp.so.1は並列処理で使われる「OpenMP」に関するライブラリのよう […]
This is a blog written by bassbone.
タイトルの通りで、機械学習のAPIを作成したく、LambdaでLightGBMを使おうとしたところ、次のエラーが出てしまいました。 libgomp.so.1: cannot open shared object file: No such file or directory libgomp.so.1は並列処理で使われる「OpenMP」に関するライブラリのよう […]
前回はscikit-learnに付属するアヤメのデータを使って、ちょっとしたデータの分析を行いました。 今回は機械学習のアルゴリズムを使っていきます。 機械学習においては訓練と評価のプロセスがありますが、絶対にはやってはいけないのは訓練と評価を同じデータで行ってしまうことです。 機械学習の訓練においては、いかに汎化性能と呼ばれる一般的な精度を引き上げるかがポ […]
機械学習の復習として個人的なノートとして書いていきます。 今回扱うのはアヤメデータです。 「アヤメ?」と思うかもしれませんが、機械学習をちょっとかじったことがある人であれば、一度は触れるデータです。なぜかというと、機械学習で有名なライブラリにサンプルデータとして付属しているからです。 というわけで進めていきます。 データを読み込む 機械学習で有名なライブラリ […]
seabornを活用する上で、公式サイトのギャラリーが勉強になりそうなので解説してみました。 第5弾は、relplot関数を使って、seaborn付属のニューロンに関するデータを可視化してみます。 参考にしたのはこちらです。 sns.relplotについては、与えれらたデータからグラフを描画してくれます。各引数の説明をします。(詳細はこちら) data:取り […]
seabornを活用する上で、公式サイトのギャラリーが勉強になりそうなので解説してみました。 第4弾は、displot関数を使って、seaborn付属のペンギンのデータを可視化してみます。 参考にしたのはこちらです。 sns.displotについては、与えれらたデータからヒストグラムを描画してくれます。各引数の説明をします。(詳細はこちら) data:取り扱 […]
seabornを活用する上で、公式サイトのギャラリーが勉強になりそうなので解説してみました。 第3弾は、lineplot関数を使って、seaborn付属の時系列データを可視化してみます。 参考にしたのはこちらです。 sns.lineplotについては、与えれらたデータから折れ線グラフを描画してくれます。各引数の説明をします。(詳細はこちら) x:グラフのX軸 […]
seabornを活用する上で、公式サイトのギャラリーが勉強になりそうなので解説してみました。 第2弾は、scatterplot関数を使って、seaborn付属のダイヤモンドのデータを可視化してみます。 参考にしたのはこちらです。 sns.scatterplotについては、与えれらたデータから散布図を描画してくれます。各引数の説明をします。(詳細はこちら) x […]
seabornを活用する上で、公式サイトのギャラリーが勉強になりそうなので解説してみました。 まず第1弾は、lmplot関数を使って、Anscombe’s quartet(アンスコムの例)を表現してみます。 参考にしたのはこちらです。 そもそも「アンスコムの例」とは何かと言うと、散布図が全く別物なのに線形回帰をして回帰直線を引くと、回帰直線が同じものになって […]
こちらの書籍を一読したので、自分の中の整理として読書メモを残します。 役割分担としては以下の3種類に分かれる。 機械学習プランナー 機械学習エンジニア(データサイエンティスト、データエンジニア) 機械学習オペレーター いきなり実装ではなく、まずはPoCを。PoCで失敗するケースが多いが、むしろきちんとPoCの段階で撤退することが大事。効果が有耶無耶のまま運用 […]
最小二乗法でポイントなる正規方程式の導出を残しておきます。すぐ忘れてしまうので。。。 前提として、 $n$はサンプル数。 $d$は特徴量ベクトルの次元数。 $\vec{y}$はターゲットで$(n \times 1)$のベクトル。 $\vec{\tilde{X}}$は特徴量で$(n \times d)$の行列。 $\vec{w}$はパラメータで$(d \tim […]