ストリームデータ分散処理基盤Storm2012年12月10日 NTTデータ オープンソースDAY 2012 講演資料 『ストリームデータ分散処理基盤 Storm』 NTTデータ 基盤システム事業本部 OSSプロフェッショナルサービス 岩崎 正剛 http://oss.nttdata.co.jp/hadoop/
CG法 - プログラマーになりたい！
まずはCG法(Conjugate Gradient Method)で連立方程式を解く練習。 CG方のアルゴリズムはWikipediaに任せることにして、CG法のプログラムは以下のようになった。 /*==================================================*/ // CG法テストプログラム /*==================================================*/ #include <stdio.h> #include <stdlib.h> #include <math.h> #define N 10 #define TMAX 100 #define EPS (1.0e-6) typedef double Vector[N]; // ベクトル typedef double Matrix[N][N
BiCGSTAB法 - プログラマーになりたい！
双共役勾配(BiCG)法の残差を減少させ安定化させたのがBiCGSTAB法。BiCGのCGとの違いは非対称行列の反復計算に使用できること。(詳しく解説しようとすると、とても難しいので割愛) とりあえず、サンプルプログラムを作ってみた。(用いた方程式は以前CG法のプログラムで使ったものと同様) /*==================================================*/ // Bi-CGSTAB法テストプログラム /*==================================================*/ #include <cstdio> #include <cstdlib> #include <cmath> using namespace std; const int N = 10; const int ITRMAX
MPI Cluster with Python and Amazon EC2 (part 2 of 3) » Data Wrangling Blog
Posted by Peter Skomoroch on Apr 09, 2007 to cluster computing, python, mpi, amazon ec2, and cloud computing Today I posted a public AMI which can be used to run a small beowulf cluster on Amazon EC2 and do some parallel computations with C, Fortran, or Python. If you prefer another language (Java, Ruby, etc) just install the appropriate MPI library and rebundle the EC2 image. The following set of
続：Amazon Clusterインスタンスで計算: 週記
震災から2週間が過ぎました。 まず、今回の震災で被害に遭われた方々、またご家族が被害に遭われた方々にお見舞い申し上げます。 被災地域直接ではありませんが、震災の影響範囲に私なりに少しでも出来ることをと考え、この記事を書くことにしました。 ご存じの通り、現在の東日本では電力状況が切迫しており、輪番停電が実施されております。 これは、計算機クラスタを日常的に研究に使う者にとっては非常に厳しい状況です。 各研究室で所有しているクラスタも、節電と輪番停電のため動かせない状況が続いていると伺っています。 また、外部計算リソースについても、現在の日本の外部利用可能な計算機の状況を@plus7さんがブログで纏めて下さいました。これはほぼ壊滅的と言って良い状況です。 そこで、本記事ではAmazon Elastic Compute Cloud (EC2)を使って、即席計算リソースを作る手順を記述してみようと
【翻訳】EventMachine入門
dan sinclairさんのEventMachineの入門記事（PDF）を翻訳しました。 原文はここからダウンロード可能です： http://everburning.com/news/eventmachine-introductions/ （翻訳の公開と画像の利用は本人より許諾済みです） 翻訳・内容の間違い等があればブログコメントやTwitterなどで遠慮無くご指摘ください。 EventMachine入門 Introduction うん、これから何を学ぶことになるのか、この導入のくだりがスタート地点として役に立つと思う。EventMachine とは何だろう。そしてそれは私たちのために何をしてくれるのだろう。さて、最初の部分は簡単だね。EventMachine は Reactor パターン(*1)の高性能な実装さ。 すげえ、いや、ちょっと待て、Reactor パターンって何だ？ Wiki
近未来的並列 LL
The document appears to be a collection of messages and links posted on a forum discussing various programming languages and parallel computing topics, including threads, actors, and memory walls. References are made to languages and technologies like Erlang, Go, Java, Haskell, and Intel's Single-Chip Cloud Computer. The posts also discuss parallelism approaches on different platforms and applicat
OpenCL実装の現状 - .mjtの日記復帰計画
追記: 以下の内容は既に古い。 OpenCLのサポート状況は当時よりだいぶ向上してきたと言える。 http://wiki.monaos.org/index.php?.mjt/mosh/OpenCL OpenCL実装は1.0実装と1.1実装が混在しているのが現状と言える。今のところ、OpenCLは完全なクロスプラットフォームを実現できる状況ではなく、(現状のOpenGLのように)パフォーマンスを追求するならベンダ固有のコードをいくつか追加する必要があるだろう。 試すなら MacOS XならAppleの実装一択。(Mac版CUDA toolkitはOpenCLを持っていない) nVidiaのCUDA対応GPUを持っているならCUDA toolkit。名前はCUDA toolkitだがOpenCLもサポートしている。機能豊富。CUDA toolkitはGPU上でしか実行できないので、必要に応じて
CUDA入門・サンプル集
はじめてのCUDAプログラミング タイトル通り、初めてCUDAを扱う方にはオススメします。 コアレシングするテクニックや、コンパイラオプションの説明も掲載しています。 GPU Gems 3 GPGPUや画像処理のテクニック集。 CUDAのサンプルプログラムも載っています。 画像処理に詳しい方にはオススメします。 並行コンピューティング技法 並列処理のプログラミング技法を紹介しています。 これを読むまでは不可能と思っていたような処理も、 並列処理可能なプログラムに上手く書き換えています。 本気でCUDAをやるなら、絶対読むべき本です。 CUDA高速GPUプログラミング入門 読んだことありませんが、リンクだけ貼っておきます。 （入手できたらレビュー書きます）
CUDA Toolkit 4.0
Release Highlights Easier Application Porting Share GPUs across multiple threads Use all GPUs in the system concurrently from a single host thread No-copy pinning of system memory, a faster alternative to cudaMallocHost() C++ new/delete and support for virtual functions Support for inline PTX assembly Thrust library of templated performance primitives such as sort, reduce, etc. NVIDIA Performance
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
GNU parallel - こしごぇ
http://w.koshigoe.jp/study/?%5Bsystem%5D+GNU+parallel+%BB%C8%CD%D1%CE%E3 最近、GNU paralle というものを知ったので軽くメモ。 xargs や cat | bash の代わりに使えるもの 並列に処理を実行させられる(標準だと出力は処理単位にまとめられる) 複数のホストに処理を実行させられる というあたりが代表的な特徴でしょうか。 for や while の代わりに使ってループを書く inotifywait と連携してディレクトリへのファイル追加などをトリガに処理を起動させる tail -f などでファイル入力を継続読み込みしてジョブキューとして利用する という特徴的な用途もある様です。 find の + の様に「とれるだけの引数をとる」事もできる(最大数を指定することもできる) 出力を引数の順番通りに並べられ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterのリアルタイム分散処理システム「Storm」入門
HPC 用の高生産並列プログラミング言語
前処理付き共役勾配法 - PukiWiki for PBCG Lab
有効なWikiNameではありません - PukiWiki for PBCGLab
Blog
STAR: Cluster - Home
Amazon.co.jp: 並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング: Clay Breshears (著), 千住治郎 (翻訳): 本
koshigoe.jp