LambdaでLightGBMを動かすためにやったこと
直近この手の記事を連投していますが、AWS LambdaでLightGBMを動かすためにやったことを記録として書いておきます。 LightGBM等のライブラリをLambdaで使えるようにするための方法としてLambdaレイヤーという機能があります。 Lambdaレイヤーとは、あらかじめライブラリのファイル一式をzip化して登録することでLambdaのPyth […]
AWS
LambdaでLightGBMを使おうとしてエラーになった話
タイトルの通りで、機械学習のAPIを作成したく、LambdaでLightGBMを使おうとしたところ、次のエラーが出てしまいました。 libgomp.so.1: cannot open shared object file: No such file or directory libgomp.so.1は並列処理で使われる「OpenMP」に関するライブラリのよう […]
collectd: Available write targets: [none] を止める【小ネタ】
CloudWatchエージェントを設定すると、syslogに以下のログが大量に出力される場合があります。 その場合には「/etc/collectd.conf」に以下設定を追加し、collectdサービスを再起動すれば解決されます。 少しでも誰かの参考になれば！
EBSのサイズを拡張する【小ネタ】
AWSのEC2を使っていてEBSのサイズを拡張したくなる時がたまにあります。 その時の手順をメモとして残しておきます。 AWSのコンソール等経由でEBSのサイズを増やします。 EBSをマウントしているEC2インスタンスにログインします。 「df -hT」を実行し、現在のディスクサイズとファイルシステムを確認します。 「lsblk」を実行し、ボリュームとパーテ […]
AmazonLinux2にdockerをセットアップするスクリプト【小ネタ】
EC2のユーザーデータを使って、docker（＋git）をセットアップするスクリプトを備忘として残しておきます。 上記スクリプトで指定しているdocker-composeのバージョンが時と共に古いものになっていくので、適宜修正していきます。 参考まで！
S3にある高解像度の画像ファイルを配信する方法について
今回はパフォーマンスチューニングに関する記事です。 タイトルにある通り、S3に高解像度の画像ファイル（容量で言えば数MBクラス）が大量にあり、それをWEBサイトで配信したい場合の方法について触れたいと思います。 最近はスマホのカメラの性能が良くなり、普通に撮影した写真が数MBとなるのは当たり前となっています。 そのため、その写真をアップロードするWEBアプリ […]
EC2でディスク使用率が100％になってしまった【小ネタ】
DBのダンプファイルを出力しようとしていたところ、うっかりEC2でディスク使用率が100％になってしまいました。 その際に行ったリカバリ手順について簡単に整理しておきます。 AWS公式ヘルプのこちらに記載があり、参考にさせていただきました。 以下のイメージをベースに順を追って説明します。 事前準備：ディスク使用率が100％になったインスタンス（以下インスタン […]
EC2でディスクのマウントに失敗する【小ネタ】
EC2で別インスタンスに接続されていたディスク（EBS）をマウントしようとして、以下のエラーが出てしまう場合、 wrong fs type, bad option, bad superblock on xxx, missing codepage or helper program, or other error まずは、「/var/log/messages」 […]
セキュリティ観点でAWSが便利なところ
2020年もそろそろ終わろうとしていますが、2020年はAWSと大きく向き合った一年でした。 これまで色々なクラウドサービスに触れてきましたが、AWSをがっつり触ってみて、セキュリティ観点でAWSイイね！と感動しました。（もちろんセキュリティ以外もいいですが！） なぜかというと、AWSにはWAFやファイアウォール等の直接的に攻撃を防ぐサービスだけでなく、Gu […]
AWS等の構成情報をterraform形式でエクスポートする
terraformで管理されていないシステムをterraformで管理したいということありませんか？ 私はあります。 それらをterraform管理にすぐに入れないにしても、既存のシステムの構成がコードとして出力されるだけでも運用する身としてはありがたいですよね。 そんな時にはこちら！ https://github.com/GoogleCloudPlatfo […]