ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
Digdag serverを入れた際の躓きポイント(CentOS7対応) - Qiita
数ヶ月前、Digdag serverを導入した。 これまではタスクの依存関係だけ解決できればいいよね、というスタンスでDigdagを使っていた。 が、タスクのモニタリングやRetry、並列処理をスムーズにやりたい等が重なりDigdag serverを使うことになった。 ついでにCentosが6だったので7にアップグレードしている。 自分が躓いた点について書いてみた。 DigdagをDaemon化するためのSystemd設定 [Unit] Description=digdag [Service] Type=simple PIDFile=/run/digdag.pid ExecStart=/bin/bash -l -c 'EMBULK_ROOT=/apps/ipros-embulk/current ~/bin/digdag server --max-task-threads 2 --confi
Embulkの設定ファイルをincludeで共有化する方法 - Qiita
まとめ Embulkの設定ファイルの中で同じ設定をしている部分を別ファイルにすることができます。 別のファイルにする設定ファイルは、_テンプレート名.yml.liquidという名前にします。 別の設定ファイルは、設定ファイルと同じディレクトリが起点ディレクトリになります。 読み込む設定ファイルは、サブディレクトリを作ることはできますが、親ディレクトリを..を使って参照することはできません。(セキュリティに関する配慮) 読み込み時に変数を設定することもできます。 include先のファイル名にハイフンは使えません。(理由は調査中) 動機 Embulkを利用する頻度が増えてくる場合、次のような問題が生じます。 同じ設定内容を、複数のYAMLファイルに記述しなければいけない。 設定ファイルが肥大化して管理するのが大変だ この問題は、Embulkに搭載されているテンプレートエンジンLiquidの機
Googleスプレッドシートをプログラムから操作 - Qiita
2017/05/18 APIの高速化方法について追記記事を書きました。 GoogleスプレッドシートAPIの高速化 GoogleI/O 2016でSpread Sheet API v4がリリースされました。 動画はこちらです。 盛り上がるのはAndroidなどデバイスにかかわる話だったり新サービスだったりするのですが、私が一番盛り上がったのはこのリリースだったりします 簡潔に書くと 今までの貧弱だったAPIがものすごく強化されシステムに組み込めるレベルになりました。 本記事ではスプレッドシートをプログラムから操作する方法と、実際に何ができるのかを解説していきます。 サンプルとして以下の様なスプレッドシートを作成します。 スプレッドシートAPIとは その名の通りGoogleスプレッドシートをWebシステムやスマホアプリなどプログラム経由で操作することが可能なAPIです。 元々バージョン3があ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
embulk filter eval sample
Embulkにあった方が良いフィルタ
