LambdaでLightGBMを動かすためにやったこと
直近この手の記事を連投していますが、AWS LambdaでLightGBMを動かすためにやったことを記録として書いておきます。 LightGBM等のライブラリをLambdaで使えるようにするための方法としてLambdaレイヤーという機能があります。 Lambdaレイヤーとは、あらかじめライブラリのファイル一式をzip化して登録することでLambdaのPyth […]
This is a blog written by bassbone.
直近この手の記事を連投していますが、AWS LambdaでLightGBMを動かすためにやったことを記録として書いておきます。 LightGBM等のライブラリをLambdaで使えるようにするための方法としてLambdaレイヤーという機能があります。 Lambdaレイヤーとは、あらかじめライブラリのファイル一式をzip化して登録することでLambdaのPyth […]
AWSのEC2を使っていてEBSのサイズを拡張したくなる時がたまにあります。 その時の手順をメモとして残しておきます。 AWSのコンソール等経由でEBSのサイズを増やします。 EBSをマウントしているEC2インスタンスにログインします。 「df -hT」を実行し、現在のディスクサイズとファイルシステムを確認します。 「lsblk」を実行し、ボリュームとパーテ […]
EC2のユーザーデータを使って、docker(+git)をセットアップするスクリプトを備忘として残しておきます。 上記スクリプトで指定しているdocker-composeのバージョンが時と共に古いものになっていくので、適宜修正していきます。 参考まで!
今回はパフォーマンスチューニングに関する記事です。 タイトルにある通り、S3に高解像度の画像ファイル(容量で言えば数MBクラス)が大量にあり、それをWEBサイトで配信したい場合の方法について触れたいと思います。 最近はスマホのカメラの性能が良くなり、普通に撮影した写真が数MBとなるのは当たり前となっています。 そのため、その写真をアップロードするWEBアプリ […]
DBのダンプファイルを出力しようとしていたところ、うっかりEC2でディスク使用率が100%になってしまいました。 その際に行ったリカバリ手順について簡単に整理しておきます。 AWS公式ヘルプのこちらに記載があり、参考にさせていただきました。 以下のイメージをベースに順を追って説明します。 事前準備:ディスク使用率が100%になったインスタンス(以下インスタン […]
EC2で別インスタンスに接続されていたディスク(EBS)をマウントしようとして、以下のエラーが出てしまう場合、 wrong fs type, bad option, bad superblock on xxx, missing codepage or helper program, or other error まずは、「/var/log/messages」 […]
2020年もそろそろ終わろうとしていますが、2020年はAWSと大きく向き合った一年でした。 これまで色々なクラウドサービスに触れてきましたが、AWSをがっつり触ってみて、セキュリティ観点でAWSイイね!と感動しました。(もちろんセキュリティ以外もいいですが!) なぜかというと、AWSにはWAFやファイアウォール等の直接的に攻撃を防ぐサービスだけでなく、Gu […]
terraformで管理されていないシステムをterraformで管理したいということありませんか? 私はあります。 それらをterraform管理にすぐに入れないにしても、既存のシステムの構成がコードとして出力されるだけでも運用する身としてはありがたいですよね。 そんな時にはこちら! https://github.com/GoogleCloudPlatfo […]
2020年1月に約2週間の準備期間でAWS認定資格であるソリューションアーキテクトアソシエイト(通称SAA)に合格したので、私なりの秘訣について紹介します。 最初は、 実際のAWSの環境を触りながら、黒本として有名な参考書を3週くらい回しました。「ここまでやったし、もう大丈夫かな」と思っていた試験2日前、とは言っても試験直前の不安な気持ちから改めて試験内容に […]
最近マイクロサービス化が流行していますが、アプリケーションが分散化してくる中でアプリケーションを跨いだトレースを如何様にするかは一つのテーマかと思います。 分散アプリケーションのトレースを実現するソフトウェアとして、NewRelic、Stackdriver Trace、Zipkin等がありますが、もしAWSを使っているのであればAWSが提供する「X-Ray」 […]