"これはdynamodbでいけるわ"が流行語になった2ヶ月間の備忘録
はじめに 私ごとではありますが、現場でdynamodbをメインのデータベースとして採用してから約2ヶ月が経ちました。 たった2ヶ月いう期間で、何度も心身ともに崩壊し、そして粘り強く復活を遂げ、かろうじて奇跡的にレベルアップをしてきました。 今回の記事では、これからdynamodbの導入を検討しているエンジニアの皆様に向けて、わずかながら現場で(汗と血を流しながら)得た知見を共有したいと思います。 主にdynamodbを導入するときに楽できる部分、楽できない、苦労する部分がどんな感じか、この記事でなんとなく伝えられたら嬉しいです。 以下では、4つの項目(採用基準、設計、開発、運用)に分けて、知見を羅列していきますが、私もまだ駆け出しdynamodberの域を出ないので、誤りやアドバイス等ございましたら、是非コメントいただきたいです！ なお、ここで紹介する内容は基本的にはAWSの公式ドキュメン
Rustによる並列処理でDynamoDBへのデータ投入を20倍高速化してみた
はじめに 言語として高速だと謳われているRust。そのRustを使用してDynamoDBへのデータ登録処理を直列処理と複数の並列アルゴリズム処理で速度比較してみました。 DynamoDB DynamoDBは公式で以下のように謳われています。 Amazon DynamoDB の応答時間は 1 桁ミリ秒で、最も要求の厳しいアプリケーションでも一貫してこのパフォーマンスを発揮できます。例を挙げると、2022 年の Amazon プライムデーに Amazon DynamoDB は、1 桁ミリ秒のパフォーマンスで、数兆回の API コールに対して 1 秒あたり 1 億 520 万件のリクエストを確実に処理しました。 上記だけみると爆速のようにも思われますが、読み込みと書き込み双方に以下の制限があります。 BatchWriteItemのデータ投入は1回で25リクエストまで、Queryのデータ取得は1回
イラストで理解するDynamoDBのテーブル - Qiita
はじめに 概要 DynamoDBのテーブルの用語やテーブルの検索方法がまっっったくわからなかったので、イラストをまじえながらいつでも見返せるように書いてみました。 この記事で得られること DynamoDBのテーブルの基礎概念についてイラストで理解できます。 テーブルの操作はaws cliで行なっていますが、もちろんコンソール画面からもできます。 全体の概要を理解したいので、aws cliのコマンドについては軽く読み流してもらって大丈夫です。 用語 DynamoDBのテーブルには色々な用語があります テーブル パーティションキー ソートキー Item(項目) Attribute(属性) index その他もろもろ… 何を言っているのかよく分かりませんね。 そこで、今回は私たちに馴染みのある「学校」をテーマにイラストを使って解説をしていきます。 みなさんは先生になった気持ちでどうすれば生徒たち
Amazon DynamoDB の論文を読んでいく - Qiita
概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL とよばれる部類のデータベースサービスです。 一貫した耐久性、可用性、パフォーマンスを提供してくれるマネージドなサービスなのが特徴ですね。 冒頭、2021年に66時間にわたる「Amazon Prime Day」中にピーク時8920万リクエスト/秒をさばいてい
大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering
こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち
AWS、DynamoDBをSQLで操作可能に。SQL互換のクエリ言語「PartiQL」対応を発表
AWSはNoSQLデータベースサービスのDynamoDBが、SQLで操作可能になるSQL互換のクエリ言語「PartiQL」に対応したことを発表しました。 You now can use PartiQL (a SQL-compatible query language) to query, insert, update & delete table data in DynamoDB. PartiQL makes it easier for you to interact with DynamoDB & run queries in the AWS Management Console. https://t.co/qlRwzYZCPC pic.twitter.com/pVaX5xlEDu — DynamoDB (@dynamodb) November 23, 2020 DynamoDBはキーバ
Amazon DynamoDB 用 NoSQL Workbench が、DynamoDB ローカルのサポートを追加
Amazon DynamoDB 用 NoSQL Workbench は、クライアント側アプリケーションです。開発者がスケーラブルで高性能なデータモデルを構築し、クエリの開発とテストを簡素化できるようにします。本日より、DynamoDB のダウンロード可能なバージョンである DynamoDB ローカルインスタンスに NoSQL Workbench から直接接続することができます。 NoSQL Workbench を使用すると、新しいデータモデルを最初から簡単に構築できます。既存のデータモデルをインポートしたり変更したりすることも簡単にできます。さらに、アプリケーションのアクセスパターンに基づいてデータモデルを可視化することもできます。DynamoDB ローカルのサポートを追加すると、追加コストが発生することなく、ローカル開発環境で DynamoDB アプリケーションを開発およびテストできます
Amazon DynamoDBのadaptive capacityが不均一なデータアクセスパターンに対応する仕組み（または、なぜDynamoDBについて知っている情報が古くなっているのか） | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDBのadaptive capacityが不均一なデータアクセスパターンに対応する仕組み（または、なぜDynamoDBについて知っている情報が古くなっているのか） Amazon DynamoDBは、あらゆる規模の高性能な非リレーショナルデータベースです。これは、組み込み式のセキュリティ、バックアップ、およびデータ保護を使用して、スループットニーズに適応する、十分に管理されたサービスです。10万人以上の開発者が、モバイル、Web、ゲーム、アドテック、IoT、および低レイテンシのデータアクセスを必要とするその他のアプリケーション向けのDynamoDBを選択しました。 しかし、以前は余分なスループットを提供することでアシストしていた不十分な容量、これに関連するエラーにより要求が失敗することを心配しているという声を、依然とし
Lambda＋SQSを使ってDynamoDBの特定のデータを別アカウントのDynamoDBへコピー（移行）させてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 開発環境で使っていたデータを本番環境など別環境でも使いたい場面はよくあると思います。 私もあるAWSアカウント上にあるDynamoDBの特定のデータを別のアカウントのDynamoDBへコピーしたい場面に出くわしましたので、Lambda+SQSを使ってDynamoDBの負荷をあげずにコピーする仕組みを作ってみました。 ※今回紹介する方法以外にも色んな方法があります。こんな方法もあるんだな程度で考えてもらえれば幸いです。 構成図 この構成の良さそうな点 個人的に思うこの構成の良さそうな点をあげてみます。 アカウントを跨ぐときの設定がSQSで許可するだけで簡単 ある程度速度調整ができる（今回は負荷をあげないようにゆっくりコピーするようにしているが速くもできる） コスト削減できるかも？ ただ、以下を考慮しないといけないです。 複数回DynamoDBに書き込まれ
初めてのサーバーレスアプリケーション開発 ～DynamoDBにテーブルを作成する～ | DevelopersIO
サーバレスで開発がしたい！でもそもそもサーバレスで使われるサービス全然知らないな。。 そんな方もまだまだ多いのではないでしょうか。そこで今回はサーバレス開発でよく利用されるサービス、API Gateway、Lambda、DynamoDBをマネジメントコンソールから作成し、それぞれを簡単に連携させてみようと思います。 本記事も含め3回に分けて実施します。 初めてのサーバーレスアプリケーション開発 ～DynamoDBにテーブルを作成する～ 初めてのサーバーレスアプリケーション開発 ～LambdaでDynamoDBの値を取得する～ 初めてのサーバーレスアプリケーション開発 ～API GatewayからLambdaを呼び出す～ ↓追加しました。 初めてのサーバーレスアプリケーション開発 ～Serverless Framework を使ってAWSリソースをデプロイする～ 初めてのサーバーレスアプリケ
Amazon DynamoDBのユーザー設定をひととおり試してみた | DevelopersIO
DynamoDBをマネジメントコンソールでぽちぽちしていたら`設定[Preview]`というメニューが追加されていることに気付きました。というわけで、用意されている設定をひととおり試してみましたので、その結果をお届けします。 こんにちは。サービスグループの武田です。 Amazon DynamoDBをマネジメントコンソールでぽちぽちしていたら設定[Preview]というメニューが追加されていることに気付きました。というわけで、用意されている設定をひととおり試してみましたので、その結果をお届けします。 ユーザー設定とは DynamoDBのマネジメントコンソールの、レイアウトや項目に関するデフォルト設定を変更できる機能です。設定した内容は IAMユーザー 単位で保存され、すべてのリージョンおよびすべてのテーブル で適用されます。スイッチロールなどをすると、スイッチ先で設定されている内容が適用され
DynamoDBデータモデリング虎の巻：第壱巻 〜前提知識編〜 - misc.tech.notes
動機など 最近、Serverlessの文脈からDynamoDBのテーブル設計の相談を受けることが多くなってきていて、Podcastでも話したけどけっこう図とかが無いと説明しづらい領域なので、まとまった資料がほしいなということでまとめてみる。 cloudinfra.audio どう考えても長編大作エントリ不可避なので気力が続けば第二巻以降に続きます…！（フィードバックが多いと頑張れるかも…！） 本巻の対象と前提知識 本巻はDynamoDBのデータモデリングにスコープを絞っています。DynamoDBおよびデータベースの一般用語などについての説明は省きます。 前提知識としては以下のようなものになるかと思います。 DynamoDBのサービスとしての概要や用語( WCU , RCU , GSI , LSI など)を知っている Hash TableやB-Tree(B+Tree)といったデータ構造がどん
[小ネタ] DynamoDBのキャパシティユニットをCloudWatchで見るときのコツ | DevelopersIO
ども、大瀧です。 クラウドネイティブなEC/CRM SaaSであるPrismatixでは、AWSマネージドサービスをこれでもかと駆使ししており、日々の運用ではそれらのメトリクス監視が肝要です。マネージドNoSQLサービスであるDynamoDBの運用としては、パフォーマンス設定であるキャパシティユニットの監視が鉄板と言えるでしょう。 DynamoDBのキャパシティユニットは、テーブルないしグローバルセカンダリインデックスにおける単位時間あたりの性能キャパシティを確保するものです。運用としては消費量が確保したキャパシティを超えないよう、CloudWatchアラームを設定して監視したり、スパイクでなければAuto Scalingを設定してキャパシティを増やしたりできます。 CloudWatchでキャパシティユニットの使用状況を見たい！ キャパシティユニットの直近の状況をAWS Managemen
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 | DevelopersIO
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 DynamoDB Local立ち上げや管理画面であるDyanmoDB Admin、AWS SDK for Python (Boto3)を用いたDynamoDB Localへのアクセス方法等を紹介します。 はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 現在私が構築を行っているサービスでは、DynamoDBをデータストアとして用いています。 開発時に開発者各々に開発用のDynamoDBのテーブルを作成すると、 テーブル名の重複やコストの問題が発生してしまいます。 これらの問題を回避するため、開発時にはDynamoDB Localを用いて開発を進めました。 それらの手法についてお伝えします。 環境は以下の環境で実施しております。 Mac OS X High Sierra 1
DynamoDB StreamをトリガーにしてLambdaを実行する際にストリーム開始位置「水平トリム」を使うと書き込みキャパシティが大変なことになる件 - Qiita
DynamoDB StreamをトリガーにしてLambdaを実行する際にストリーム開始位置「水平トリム」を使うと書き込みキャパシティが大変なことになる件AWSDynamoDBlambdaDynamoDBStream DynamoDB Streamとは DynamoDB Streamは、DynamoDBに対する書込みをイベントトリガーとして利用できる機能です。つまりは特定のDynamoDBテーブルに書き込み（追加、変更、削除）があった場合にイベントが飛んでくるので、それをトリガーとしてLambdaを起動したりできます。使い方の概要このあたりが参考になると思います。 DynamoDB StreamをトリガーにしてLambdaを実行する やりたかったこと AWS IoT Core経由でRaspberry Piから飛んでくるセンサーデータを、DynamoDBテーブル(A)に格納しているのですが、こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減
How to Build a Robust Dynamic Scheduled Task (Cron) Service in AWS Using SNS, Cloudwatch, Lambda…
DynamoDb Support for API Server · Issue #53162 · kubernetes/kubernetes
Amazon DynamoDB Local Adds Support for Transactional APIs, On-Demand Capacity Mode, and 20 GSIs
AppSyncを使いこなすためのDynamoDB設計パターン
