LambdaでLightGBMを動かすためにやったこと

直近この手の記事を連投していますが、AWS LambdaでLightGBMを動かすためにやったことを記録として書いておきます。 LightGBM等のライブラリをLambdaで使えるようにするための方法としてLambdaレイヤーという機能があります。 Lambdaレイヤーとは、あらかじめライブラリのファイル一式をzip化して登録することでLambdaのPyth […]

EBSのサイズを拡張する【小ネタ】

AWSのEC2を使っていてEBSのサイズを拡張したくなる時がたまにあります。 その時の手順をメモとして残しておきます。 AWSのコンソール等経由でEBSのサイズを増やします。 EBSをマウントしているEC2インスタンスにログインします。 「df -hT」を実行し、現在のディスクサイズとファイルシステムを確認します。 「lsblk」を実行し、ボリュームとパーテ […]

S3にある高解像度の画像ファイルを配信する方法について

今回はパフォーマンスチューニングに関する記事です。 タイトルにある通り、S3に高解像度の画像ファイル(容量で言えば数MBクラス)が大量にあり、それをWEBサイトで配信したい場合の方法について触れたいと思います。 最近はスマホのカメラの性能が良くなり、普通に撮影した写真が数MBとなるのは当たり前となっています。 そのため、その写真をアップロードするWEBアプリ […]

EC2でディスク使用率が100%になってしまった【小ネタ】

DBのダンプファイルを出力しようとしていたところ、うっかりEC2でディスク使用率が100%になってしまいました。 その際に行ったリカバリ手順について簡単に整理しておきます。 AWS公式ヘルプのこちらに記載があり、参考にさせていただきました。 以下のイメージをベースに順を追って説明します。 事前準備:ディスク使用率が100%になったインスタンス(以下インスタン […]

セキュリティ観点でAWSが便利なところ

2020年もそろそろ終わろうとしていますが、2020年はAWSと大きく向き合った一年でした。 これまで色々なクラウドサービスに触れてきましたが、AWSをがっつり触ってみて、セキュリティ観点でAWSイイね!と感動しました。(もちろんセキュリティ以外もいいですが!) なぜかというと、AWSにはWAFやファイアウォール等の直接的に攻撃を防ぐサービスだけでなく、Gu […]

AWS等の構成情報をterraform形式でエクスポートする

terraformで管理されていないシステムをterraformで管理したいということありませんか? 私はあります。 それらをterraform管理にすぐに入れないにしても、既存のシステムの構成がコードとして出力されるだけでも運用する身としてはありがたいですよね。 そんな時にはこちら! https://github.com/GoogleCloudPlatfo […]

AWS認定ソリューションアーキテクト-アソシエイトに合格する秘訣

2020年1月に約2週間の準備期間でAWS認定資格であるソリューションアーキテクトアソシエイト(通称SAA)に合格したので、私なりの秘訣について紹介します。 最初は、 実際のAWSの環境を触りながら、黒本として有名な参考書を3週くらい回しました。「ここまでやったし、もう大丈夫かな」と思っていた試験2日前、とは言っても試験直前の不安な気持ちから改めて試験内容に […]

分散アプリケーションのトレース

最近マイクロサービス化が流行していますが、アプリケーションが分散化してくる中でアプリケーションを跨いだトレースを如何様にするかは一つのテーマかと思います。 分散アプリケーションのトレースを実現するソフトウェアとして、NewRelic、Stackdriver Trace、Zipkin等がありますが、もしAWSを使っているのであればAWSが提供する「X-Ray」 […]