Redis Queue - Redis
Back to Glossary Redis, with its support for list and set data structures, can be effectively used as a message queue. This means that it can handle multiple tasks that are lined up for processing. The tasks can be processed either immediately or at a certain scheduled time. The ability to use Redis as a queue opens up a wide range of possibilities for handling distributed jobs and messages, espec
Redis 5.0でクラスタ（Redis Cluster）を構成してみる - CLOVER🍀
これは、なにをしたくて書いたもの？ Redis 5.0がリリースされ、クラスタを構成するコマンド が新しくなったらしい 久しぶりに、Redis Clusterを構成して遊んでみよう という、単にRedis 5.0での手順でRedis Clusterを構成してみようというエントリです。 なお、Redis 3.0の頃にRedis Clusterを構成して遊んだこともあるので、こちらを見つつどう変わっていったかを確認して いきたいと思います。 Ubuntu LinuxでRedis ClusterのDockerイメージを作って遊ぶ - CLOVER🍀 Redis 5.0の更新内容は、こちらにまとまっているので参考にさせていただきました。 Redis 5.0 Update解説 - Qiita Redis Clusterってなに？ 前回のエントリでも書いているのですが、おさらい的に。 複数のRedi
partitioning
Horizontal scaling with Redis Cluster Redis scales horizontally with a deployment topology called Redis Cluster. This topic will teach you how to set up, test, and operate Redis Cluster in production. You will learn about the availability and consistency characteristics of Redis Cluster from the end user's point of view. If you plan to run a production Redis Cluster deployment or want to understan
redis-pyでRedis Clusterから全件取得する - Qiita
タイトルの通り、redis-pyというPythonライブラリを使ってRedis Clusterから全件取得する記事です。 方針 全マスターノードでSCAN 全スロットでCLUSTER COUNTKEYSINSLOTでKEY数を取得しCLUSTER GETKEYSINSLOTでKEYを取得 の2種類の方針があると思っています。 今回は後者のやり方になります。 環境 Python 3.7.10 redis-py 4.3.4 hiredis 2.0.0 $ python --version Python 3.7.10 $ pip list | grep redis hiredis 2.0.0 redis 4.3.4 from redis.cluster import RedisCluster, ClusterNode nodes = [ {"host": "host_name_1", "port
redis-pyでRedis Clusterの全キーを取得する - MicroAd Developers Blog
はじめに こんにちは、マイクロアドでサーバーサイドエンジニアをしている高橋です。 主にDigdag1とPythonを使用したETL処理のバッチを開発しています。 今回はredis-pyというPythonライブラリを使ってRedis Clusterに登録されている全キーを取得する方法を共有します。 はじめに 経緯 redis-py とは Redis Clusterへの接続 全キーの取得 KEYS SCAN CLUSTER GETKEYSINSLOT 備考 おわりに 経緯 マイクロアドでは広告配信のデータベースとして速度が求められる一部の処理でRedisを使用しています。 一方で、速度よりも検索性が求められるような場面ではRedisはあまり適しておらず、クエリで検索できるようなデータベースが望ましいです。 マイクロアドではRedis以外のデータベースとしてCDHも利用しており、上記の理由からや
同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装
Redis互換で25倍高速とする「Dragonfly」が登場。2022年の最新技術でインメモリデータストアを実装 Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。 このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」が登場しています（開発元のアナウンス、GitHub）。 Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。 これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。 採用した主な技術
Redis Labs、強い一貫性を保ちつつRedisを高可用クラスタ化する「RedisRaft」発表
インメモリキーバリューストアのRedisを開発するRedis Labsは、複数のRedisをクラスタ化することで高い可用性を実現しつつ、クラスタ内で強い一貫性の保持を実現するクラスタ化ソフトウェア「RedisRaft」を発表しました。 Introducing RedisRaft, a new strong-consistency deployment option for Redis in beyond-cache scenarios requiring a high level of reliability and consistency. #RedisRaft https://t.co/2l5dmiVFpk — Redis Labs (@RedisLabs) June 23, 2020 Redisはメモリ上でキーバリューデータを扱うインメモリデータベースで、その高速性が大きな特長です。
Redis 6.0.0 GA アップデート内容紹介 - Qiita
ついに本日(2020/04/30)、Redis 6.0がGAになりました。 今回も今までの例にもれず、release noteベースに簡単に解説していきます。 過去の記事 Redis 4.0の目玉機能解説 - Qiita Redis 5.0 Update解説 - Qiita あなたは誰 『niconico』が利用している株式会社KADOKAWA Connectedのプライベートクラウドで、Redisのマネージドサービスなどやってます。 https://engineering.kdx.co.jp/ 過去のRedisメジャーバージョンアップ 今までもRedisでは大きな新機能が出るたびに、メジャーバージョンアップを行ってきました。 Redis 3系：Redis Cluster GA Redis 4系：Redis Module対応 Redis 5系：Stream型対応 今までのメジャーバージョン
Redis 6.x の Threaded I/O 対応雑感 - アルパカDiary Pro
2020/5/6 追記 ベンチマーク結果に mset / sadd / zadd / hset / lpush / lrange 300 を追加しました Redis 6系がリリースされましたね！ mag.osdn.jp やはり気になったのは「マルチスレッド対応」という文字。 Redisといえばシングルスレッドでしたが、今回の対応がどういうものか？パフォーマンスにどの程度影響するのか？が気になったので軽く調べてみました。 redis.confの説明文 redis.confに THREADED I/O の頁が追加されています。 要約するとあくまで I/Oアクセスをマルチスレッド化 する対応のようです。 1 スレッド化なし／あり時の実際のプロセスの様子 io-threads=1の時 io-threads>1の時 スレッド表示OFF スレッド表示ON きちんとスレッド化されている様子がわかりますね
いまさらGoでElasticache Redisの負荷・障害試験をがっつりしてみた
こんにちは、 株式会社アプリボット、バックエンドエンジニアの小川詩織です。 今回はgolangで開発中の新規プロジェクトのため、ElasticacheRedisに関する検証を行いました。 かなり長くなってしまいましたが、参考にしていただければ幸いです。 以下、検証内容になります。 まえおき 検証のための実装にはgolangを用い、 go-redisによるElasticache Redisについての検証になります。 また、ゲームで良く活用される Ranking機能 の実装を想定した検証を行いました。 Ranking機能実装のためにRedisは ソート済みセット型 を用います。 Ranking機能についての想定なので、同一ランキングはkeyも同一になり、 Shardを増やしても負荷分散できないため全て Shard=1 として検証を行います。 また、Redisの 要素数は1000万件 用意しまし
LINE LIVE チャット機能を支えるアーキテクチャ
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE株式会社のOklahomerです。 本記事では、LINE LIVEという動画配信サービスのチャット機能が、どのような構成で成り立っているのか紹介します。 チャットの紹介 LINE LIVEのiOS/Android アプリでは、配信中の動画を視聴しながらリアルタイムにコメント投稿できるチャット機能を提供しています。この機能の役割は、視聴者同士が対話を楽しむだけにとどまりません。配信者が視聴者のコメントに返答するという形で配信者と視聴者の接点として機能したり、また配信者がコメント内容に従って企画を進めるなど、配信者と視聴者が一体となって配信を作り上げていく上でも重要な機能となっています。 これが有名人による配信となれば当然
New – Redis 4.0 Compatibility in Amazon ElastiCache | Amazon Web Services
AWS News Blog New – Redis 4.0 Compatibility in Amazon ElastiCache Amazon ElastiCache makes it easy for you to set up a fully managed in-memory data store and cache with Redis or Memcached. Today we’re pleased to launch compatibility with Redis 4.0 in ElastiCache. You can now launch Redis 4.0 compatible ElastiCache nodes or clusters, in all commercial AWS regions. ElastiCache Redis clusters can sca
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Redis Queue | Redis
Clustering - redis-py dev documentation
The Fastest Multi-Model Database on Intel Optane Memory
https://redis.io/wp-content/uploads/2018/04/Redis-Day-TLV-2018-Scaling-Redis-PubSub.pdf
RedisConf18 - Redis at LINE - 25 Billion Messages Per Day
Redis at LINE
Memorystore: in-memory Redis compatible data store
