1. 1
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
慶應義塾大学大学院 理工学研究科
2014年度下期 ビックデータ実践論
特別講義
DeNAの
大規模データマイニング活用した
サービス開発
株式会社ディー・エヌ・エー
濱田晃一
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
2. 2
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
3. 3
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
12. 12
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
3.8倍
Install/Impression
(CTR x CVR)
13. 13
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
3.8倍
Install/Impression
(CTR x CVR)
デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した
パーソナルゲームレコメンドの数値増加効果(※1)
※1: 表示位置等、同条件での比較。2014年上期時点
14. 14
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
3.8倍 9.7倍
デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した
パーソナルゲームレコメンドの数値増加効果(※1)
Install/Impression
(CTR x CVR)
※1: 表示位置等、同条件での比較。2014年上期時点
15. 15
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
9.7倍
※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数 等
利用継続数値/Impression
(※2)
3.8倍
Install/Impression
(CTR x CVR)
デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した
パーソナルゲームレコメンドの数値増加効果(※1)
※1: 表示位置等、同条件での比較。2014年上期時点
16. 16
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
3.8倍
効果規模例
9.7倍
興味と合い楽しめるゲームに出会えることにより
よりゲームを楽しみ継続してもらえる体験を提供
利用継続数値/Impression
(※2)
※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数 等
Install/Impression
(CTR x CVR)
デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較した
パーソナルゲームレコメンドの数値増加効果(※1)
※1: 表示位置等、同条件での比較。2014年上期時点
17. 17
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
パーソナルレコメンデーション例
興味にあったゲームに出会い楽しめるレコメンド
行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく
自分の興味にあい 楽しみ継続利用する確率が高いゲーム
・各ユーザごとに、各レコメンドに対す
る反応から興味を学習 (強化学習)
自分がはまっているゲーム
User Reaction Log
Personalized Data
for Each User
Impression
Game Play Install
user_id, recdata
・ゲームプレイ特徴、ゲームインストー
ル特徴、インストール後継プレイ特徴、
の条件付き確率構造を学習
・各ユーザーごとに、プレイ特徴に応じ
た、各ゲームの継続利用確率を算出
分散処理: 機械学習
Click
Install
プレイ・継続特徴学習、利用継続確率
リアクション学習
Play Continuity
after install
19. 19
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
効果規模例
サービス横断で親しいユーザを用いたパーソナル友達レコメンド効果
全体で友達成立しやすい人とのリスティング比較(※)
12.7倍
友達成立数/Impression
※表示位置等、同条件での比較。
20. 20
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
効果規模例
サービス横断で友達を増やし
一緒にゲーム・コミュニティを楽しむ機会を創出
※表示位置等、同条件での比較。
サービス横断で親しいユーザを用いたパーソナル友達レコメンド効果
全体で友達成立しやすい人とのリスティング比較(※)
12.7倍
友達成立数/Impression
21. 21
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散処理: 機械学習
パーソナルレコメンデーション例
サービス横断で友達を増やし
一緒にゲーム・コミュニティを楽しむ機会を創出
興味あるゲーム・コミュニティで親しいユーザ
一緒に楽しんでいるサービス
User Reaction Log
Personalized Data
for Each User
Impression
Service Access
user_id, recdata
・アクセス特徴、コミュニケーション特
徴から、各ユーザごとに、興味・個別
サービスでの他ユーザとの親密度、お
よび、ゲーム・プラットフォーム横断で
のユーザ間親密度を算出
Friend Request
Accept
サービス横断のユーザ親密度
Communication
・各ユーザごとに、各レコメンドに対す
る反応から興味を学習・洗練 (強化
学習)
リアクション学習
29. 29
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
数千万人の人々へ
各人のつながり・楽しみ・好み 個性にあった適切なサービス配信
日々35億以上の活動の活用
データマイニング・機械学習活用したサービス開発
活動
より適切なサービス提供
各人のつながり、楽しみ、好み、個性にあった
Social Graph
Objective Process
Fun PersonalityLike
Social Media
Data Mining
Machine Learning
30. 30
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
活動
より適切なサービス提供
各人のつながり、楽しみ、好み、個性にあった
Social Graph
Objective Process
Fun PersonalityLike
Social Media
Data Mining
Machine Learning
31. 31
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
より適切なサービス提供
各人のつながり、楽しみ、好み、個性にあった
Social Graph
Objective Process
Fun PersonalityLike
Social Media
Data Mining
Machine Learning
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
活動
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界
32. 32
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆効果規模
◆体験提供・アルゴリズム
◆提供価値
◆はじめに
39. 39
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
40. 40
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
データマイニング活用によるサービス洗練
データマイニング・機械学習の活用により
迅速なサービス洗練を実現していますKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
… …
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
41. 41
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
データマイニング活用によるサービス洗練
KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知
Data Mining Infrastructure
KPI Views
KPI Inspection
42. 42
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
データマイニング活用によるサービス洗練
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
43. 43
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
データマイニング活用によるサービス洗練
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへKafka
Messaging
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Data-mining
Machine-Leaning
Results
44. 44
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
データマイニング活用によるサービス洗練
データマイニング・機械学習の活用により
迅速なサービス洗練を実現していますKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
… …
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
45. 45
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
55. 55
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
56. 56
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Media
Experience
Social Graph
Detailed Actions
Social Communications
Changes of Status
Personality ..etc
57. 57
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
of Fun
Social Media
Experience
Detailed Actions
Social Communications
Changes of Status
Personality ..etc
58. 58
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
59. 59
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
60. 60
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation
より楽しんでもらえるサービス推薦
活動例(抜粋): Recommendation
61. 61
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
推薦戦略
活動例(抜粋): Recommendation
62. 62
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
推薦戦略
活動例(抜粋): Recommendation
63. 63
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
推薦戦略
活動例(抜粋): Recommendation
64. 64
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Social Collaborative Filtering
Social Graph
Collaborative Filtering (Personal)
(Neighborhood Matrix Model for “A likes B”)
Input User History and
Neighborhood
Collaborative Filtering (Global)
(Global Matrix Model for “A likes B”)
Input User History
and Social Graph
RECSRECS
User with no friend [ex) New User]
User with friend
Relationship between Game A2 and C2
Item-Item Matrix of Relationships (Invented by Amazon.com)
Users who “bought A bought C”, “viewed A viewed C”…
There are thousands of collaborative filtering varieties:
+ user friend neighborhood…
+ user similarity clustered neighborhood…
References (International Research Copyrights)
Wikipedia Image of a Social Network
user
Friend of Friend
Friend
Neighborhood
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦
活動例(抜粋): Recommendation
65. 65
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
推薦戦略
活動例(抜粋): Recommendation
66. 66
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Content Similarity
コンテンツ類似度の利用
Similarity Game A2 and C2
Game A to B Cosine Similarity Matrix Smoothing Normalization
Game A to B Relationship Matrix
Cosine Similarity Equation
Latent Semantic Analysis via
Singular Value Decomposition
Statistical Z-Score removes Low
Confidence Scores
1
2
3
4 5 6
活動例(抜粋): Recommendation
67. 67
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Social Neural Networks
ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦
Input User History
and Neighborhood
Wikipedia Image of a Social Network
G1
G2
G3
G4
G5
G6
G7
G8
G9
G1
G2
G3
G4
G5
G6
G7
G8
G9
1
1
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
HISTORY RECOMMENDATIONS
Social Graph
user
Friend of Friend
Friend
Neighborhood
活動例(抜粋): Recommendation
68. 68
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
推薦戦略
活動例(抜粋): Recommendation
69. 69
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Social Agent Emergence
エージェントによる隠されたグループ抽出
Sub-culture 1
Sub-culture 2
AGENT Random Walk
Genetic Algorithm
活動例(抜粋): Recommendation
70. 70
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Recommendation Strategy
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
推薦戦略
活動例(抜粋): Recommendation
71. 71
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Hybrid Models
CF
AGENT
NN
SIM
RL
Users that Like A Like B
Hybrid Model
Prediction
活動例(抜粋): Recommendation
72. 72
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Memory Based Paradigm
(most user decision focused)
> 協調フィルタリング (users that play A play B)
> ソーシャルグラフ (user neighborhood)
> 強化学習 (user feedback)
> locality sensitive hashing (user profile similarity)
Model Based Paradigm
(most detailed experiments and rationale)
> パターンの学習と予測
> latent semantic analysis (game text similarity)
> artificial neural network
Emergent Intelligence Paradigm
(fastest adaptation)
> エージェントランダムウォーク(user similarity search)
> 遺伝的アルゴリズム (game preference convergence)
Hybridized Intelligence Paradigm
(most successful globally)
> 手法の組合せによる向上
>> 友人がいないとき (e.g. new user)
>> 利用データが存在しないとき (e.g. new game)
>> モデルからメタデータが取得できないとき
> 混合手法によるこれらの課題解決
Standard Recommendation Methodologies
Recommendation
より楽しんでもらえるサービス推薦
活動例(抜粋): Recommendation
73. 73
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
74. 74
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis
楽しさの行動パターン、やめてしまう状況パターン
活動例(抜粋): Pattern/Clustering/Classification
75. 75
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis
楽しさの行動パターン、やめてしまう状況パターン
Activity 1
Activity N, …
Clustering
Pattern Mining
Feature Analysis
F1
F2
E1
E1
F3
F4
F5
Regression
Classification
活動例(抜粋): Pattern/Clustering/Classification
76. 76
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■やめてしまう状況パターン
77. 77
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■やめてしまう状況パターン
⇒夢中になる体験をしてもらう
・夢中になるきっかけ
78. 78
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
⇒夢中になる体験をしてもらう
・夢中になるきっかけ
・楽しんでサービス継続している行動特徴
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
■やめてしまう状況パターン
79. 79
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
⇒夢中になる体験をしてもらう
・夢中になるきっかけ
・楽しんでサービス継続している行動特徴
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
80. 80
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
⇒他の楽しみ方の提供(他サービスへの推薦 等)
⇒夢中になる体験をしてもらう
・夢中になるきっかけ
・楽しんでサービス継続している行動特徴
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
81. 81
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■楽しさの行動パターン
⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。
⇒楽しさのパターンをサービス初期で体験。楽しさを理解。
■やめてしまう状況パターン
⇒他の楽しみ方の提供(他サービスへの推薦 等)
⇒夢中になる体験をしてもらう
・夢中になるきっかけ
・楽しんでサービス継続している行動特徴
・飽きはじめたユーザーの予測・判別
⇒新鮮・斬新な体験を提供する
・飽きはじめるきっかけ・不快な状況
⇒やめるきっかけを発生させないようにする。
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
82. 82
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例)
活動例(抜粋): Pattern/Clustering/Classification
83. 83
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例) Pattern Mining
F1
F2
E1
E1
F3
F4
F5
やめてしまう
夢中になり始める
活動例(抜粋): Pattern/Clustering/Classification
84. 84
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例)
Activity 1
Activity N, …
Clustering
Pattern Mining
F1
F2
E1
E1
F3
F4
F5
やめてしまう
夢中になり始める
継続
離脱
活動例(抜粋): Pattern/Clustering/Classification
85. 85
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
例)
Activity 1
Activity N, …
Clustering
Pattern Mining
Feature Analysis
F1
F2
E1
E1
F3
F4
F5
Regression
Classification
やめてしまう
夢中になり始める
継続
離脱
活動例(抜粋): Pattern/Clustering/Classification
86. 86
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Feature Analysis/Prediction
楽しさの行動パターン、やめてしまう状況パターン
Activity 1
Activity N, …
Clustering
Pattern Mining
Feature Analysis
F1
F2
E1
E1
F3
F4
F5
Regression
Classification
やめてしまう
夢中になり始める
継続
離脱
例)
User Experience
Improvement
活動例(抜粋): Pattern/Clustering/Classification
87. 87
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
88. 88
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋): Time Series Analysis
異常な振る舞い
複数時系列の異常検知
時系列A
時系列B 時系列C
ケースA
ケースB
ケースC
例2:CM効果のノイズ除去
異常な振る舞いの時系列を検出
異常な振る舞いをしているケースを
除外して、CMの効果を算出する
CM効果
トラフィックA
トラフィックB
トラフィックC
例1:トラフィック異常検知
異常な振る舞いをしている
トラフィックの原因を調査する
調査
A
B
C
時系列のモデリング
時系列A
時系列B
時系列C
Anomaly detection
複数時系列から異常な振る舞いを検知する
89. 89
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋): Time Series Analysis
異常スコア推移
異常値
t
モデル構築
異常スコアの算出
◇例 : ARIMAモデル
◇例 : 対数損失
Anomaly detection
新しいデータと過去時系列モデルの乖離から異常検出
90. 90
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
CM時系列
各KPIの時系列
CM
新規
登録
ARPU
ARPP
U
継続
率
ケー
ス
イベン
ト
その
他
外部
要因
活動例(抜粋): Time Series Analysis
TV Commercial Effects
時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出
91. 91
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
92. 92
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
活動例(抜粋)
■健全なプラットフォームへ
■ユーザーの声によるサービス洗練
・不正書き込み判別
・年齢詐称の判別
・ソーシャルコミュニケーションのテキストマイニング
Other Applications
他にも各種ユーザー体験向上に役立てています
等
93. 93
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
楽しさのマイニング
ユーザー体験へ還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
94. 94
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
95. 95
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
105. 105
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分析
解決価値・効果高い課題設定を行う
新たな価値提供の余地・効果が高い、対象領域・ユーザクラスタ・特徴を明らかにする
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
106. 106
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
ユーザ体験設計・サービス設計
新たな提供体験・価値を考える
どのような新たな体験提供ができるか、どのような価値があるか、考え抜く
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
2. ユーザ体験設計
Service
Front End
3. サービス設計
107. 107
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
ユーザ体験設計・サービス設計
新たな提供体験・価値を考える
どのような新たな体験提供ができるか、どのような価値があるか、考え抜く
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
2. ユーザ体験設計
Service
Front End
3. サービス設計
データマイニング・機械学習は新たな体験提供の大きな源泉となる
108. 108
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
ユーザ体験設計・サービス設計
新たな提供体験・価値を考える
実際にどのくらい価値があるのかは提供してみないとわからない
体験提供
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析 2. ユーザ体験設計
Service
Front End
3. サービス設計
109. 109
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
ユーザ体験設計・サービス設計
新たな提供体験・価値を考える
実際にどのくらい価値があるのかは提供してみないとわからない
体験提供
わからないことはやってみる。挑戦する
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析 2. ユーザ体験設計
Service
Front End
3. サービス設計
110. 110
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
洗練サイクル設計・ログ設計・連携データ設計
洗練サイクルを設計する
ユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する
体験提供
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
3. サービス設計
6. ログ設計
5. 連携データ設計
Distributed
Applications
YARN
HDFS
111. 111
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
洗練サイクル設計・ログ設計・連携データ設計
洗練サイクルを設計する
ユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
Feedback Log
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
3. サービス設計
6. ログ設計
5. 連携データ設計
Distributed
Applications
YARN
HDFS
学習アルゴリズム、学習に必要なログ、連携データ、等、一連のサイクルをつくる
112. 112
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散アルゴリズム設計
学習方法の分散アルゴリズムを設計する
大規模データでもスケールする学習アルゴリズム設計する
体験提供
Distributed
Applications
YARN
HDFS
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
6. ログ設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
5. 連携データ設計
3. サービス設計
7.分散アルゴリズム設計
113. 113
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散アルゴリズム設計
学習方法の分散アルゴリズムを設計する
大規模データでもスケールする学習アルゴリズム設計する
体験提供
学習アルゴリズムを、分散可能なアルゴリズムに再構成する
Distributed
Applications
YARN
HDFS
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
6. ログ設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
5. 連携データ設計
3. サービス設計
7.分散アルゴリズム設計
114. 114
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散アルゴリズム実装
体験提供
体験・サービス提供に適した形で実装・チューニングしていく
サービスに適した形で分散アルゴリズム実装する
Distributed
Applications
YARN
HDFS
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
6. ログ設計
7.分散アルゴリズム設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
8.分散実装
5. 連携データ設計
3. サービス設計
115. 115
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散アルゴリズム実装
体験提供
体験・サービス提供に適した形で実装・チューニングしていく
サービスに適した形で分散アルゴリズム実装する
Distributed
Applications
YARN
HDFS
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
6. ログ設計
7.分散アルゴリズム設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
8.分散実装
5. 連携データ設計
3. サービス設計
各種アルゴリズムチューニングのトライを多く行いたい。必要なものは自分でつくる
116. 116
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
分散アルゴリズム実装
体験提供
体験・サービス提供に適した形で実装・チューニングしていく
結果を分析し、体験・サービス・学習サイクルともに洗練していく
Distributed
Applications
YARN
HDFS
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
Feedback Log
6. ログ設計
7.分散アルゴリズム設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
8.分散実装
5. 連携データ設計
3. サービス設計
117. 117
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Distributed
Applications
YARN
HDFS
データマイニング・機械学習活用したサービス開発
新たな価値ある体験・サービス提供を考え、作り、挑戦し続ける
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
Feedback Log
6. ログ設計
7.分散アルゴリズム設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
8.分散実装
5. 連携データ設計
3. サービス設計
118. 118
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
122. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
提供
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
活動・ソーシャル情報の活用により
ひとりひとりそれぞれの興味・つながりにあった
より適切な情報・サービスの提供
123. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
提供
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
活動・ソーシャル情報の活用により
ひとりひとりそれぞれの興味・つながりにあった
より適切な情報・サービスの提供
自ら探さなくてもそれらを得ることができる世界を実現したい
175. 175
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
大規模データマイニング・機械学習 活用した
サービス提供を支える基盤構成Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
… …
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
176. 176
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
KPI(Key Performance Indicator)定常算出・共有
ビジネス・サービス変化を検知
Data Mining Infrastructure
KPI Views
KPI Inspection
177. 177
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
経営判断・サービス洗練を行うための
データマイニング実行
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
178. 178
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
データマイニング・機械学習 結果のサービス活用
より楽しんでもらえるサービスへKafka
Messaging
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Data-mining
Machine-Leaning
Results
179. 179
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Hadoop DFS
全行動ログ/サービスデータ 投入
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Hadoop DFS
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
180. 180
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Vertica
個別サービスの高速アドホック集計・KPI定常集計
DeNA Data Mining Libraries
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Hadoop DFS
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
Service Log API
Service Log API
Service
Log API
181. 181
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Kafka
Pub/Sub Messaging. 複数処理系へデータ配信Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Hadoop DFS
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
182. 182
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Storm
ストリーム処理Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Hadoop DFS
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
183. 183
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
HBase
リアルタイム分散ストレージKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Hadoop DFS
HBase
Online Storage
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
184. 184
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Elastic Search
リアルタイム分散検索Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Online Storage
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
185. 185
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Pig/Hive
少ない記述量での中間集計/簡易KPI算出Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Hive
Pig
Online Storage
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
186. 186
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
HUE
GUIベースの Hadoop解析環境/アクセス管理Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
HUEHive
Pig
Online Storage
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
187. 187
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
R
アドホックな統計解析・データマイニング・機械学習Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
HUE
R
Hive
Pig
Online Storage
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
188. 188
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Perl MapReduce
分散シミュレーションKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
189. 189
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Java MapReduce
データマイニング・機械学習のサービス実装Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
190. 190
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
Data Mining Libraries
各種ソーシャル行動解析用のデータマイニングライブラリKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
191. 191
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
統一行動記述
Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
201. 201
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤構成
大規模データマイニング・機械学習の活用
基盤技術でも挑戦を行うKafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
202. 202
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
AGENDA
◆DeNAのサービス・データ規模
◆講師紹介
◆最後に
◆大規模データマイニング基盤構成
◆楽しさのマイニング
◆データマイニング活用したサービス開発
◆データマイニング活用によるサービス洗練
◆提供価値
◆事例:提供体験・アルゴリズム
◆活動
◆はじめに
203. 203
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
楽しさのマイニング
数千万人 1日35億超の行動情報
楽しさのマイニングによるユーザー体験還元
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Media
Experience
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
204. 204
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
適切な情報・サービス提供
ユーザ一人一人に対し、適切な情報・サービス提供
サービスを使えば使うほど内容洗練されていく
興味のあるゲームに出会う 親しい人と一緒に楽しむ
友達を増やし一緒にゲーム・
コミュニティを楽しむ
提供例:
205. 205
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
Distributed
Applications
YARN
HDFS
大規模データマイニング活用したサービス開発
・効果高い課題設定
・高影響要素解明
Activity 1
Activity N, …
F1
F2
E1
E1
F3
F4
F5
1. 分析
体験提供
Feedback Log
6. ログ設計
7.分散アルゴリズム設計
Personalized Data
For each user
Service
Front End
2. ユーザ体験設計
4. 洗練サイクル設計
8.分散実装
5. 連携データ設計
3. サービス設計
データマイニング・機械学習活用し
新たな体験提供に挑戦する
206. 206
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
大規模データマイニング基盤
Kafka
Messaging
DeNA Data Mining Libraries
Service Log API
Service Log API
Service
Log API
…
Data Mining Infrastructure
Business
Planning
KPI Views
KPI Inspection
Unified Description of
Action/Status Log
Storm
Streaming
Elastic
Search
Similarity/Search
Hadoop DFS
HBase
Java
HUE
R
Perl
Hive
MapReduce
Pig
Online Storage
Batch
Redundant, Reliable Storage
Data-mining
Machine-Leaning
Results
Vertica
大規模データ処理の技術挑戦
体験提供の質・トライ回数を向上させる
208. 208
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
世界展開
世界中の人々の
楽しさのマイニング
国民性・民族性にあった
サービス提供
209. 209
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
世界中の人々へ
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Experience
Activity
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
210. 210
Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved.
世界中の人々へ
Social Graph
Data Mining
Machine Learning
ClusteringPatternMining
Classification Regression Recommendation
of Fun
Social Experience
Activity
TimeSeriesAnalysis StatisticalAnalysis
Detailed Actions
Social Communications
Changes of Status
NaturalLanguageProcessing ..etc
Personality ..etc
ソーシャル・活動情報の活用により
より適切な情報・サービス配信される世界を実現したい
世界中の人々が
個々人のつながり・楽しみ・好みにあった適切な情報・サービスを
自ら探さなくても得ることができる世界