ナレッジグラフとLLMを活用したレコメンドシステム - Insight Edge Tech Blog
イントロダクション：スーパーマーケットの3つの課題 ナレッジグラフとは ナレッジグラフの活用事例 Google検索 Amazon ECサイトのレコメンドシステムCOSMO ナレッジグラフに関連した論文 Yu et al., COSMO: A large-scale e-commerce common sense knowledge generation and serving system at Amazon[4] Shi et al., LLM-Powered Explanations: Unraveling Recommendations Through Subgraph Reasoning[1] Wang et al., Multi-level recommendation reasoning over knowledge graphs with reinforcement lear
OpenAI o1に関するメモ
はじめに OpenAI o1、そこまで注目していなかったのですが、じわじわと「すごいのでは？」という気になってきたので、雑に関係する情報や気になる記事をまとめてみました。 o1の仕組みは、アプローチ的には人間は簡単な問題には反射的に答える（答えられる）けど、難しい問題はじっくり考えるから、AIにも同じようにじっくり考えさせてみよう（推論時間のスケーリングとかよばれたりします）という発想だと思います（おそらく、違ったらすみません）。 LLMは、基本的に解くべき問題の難易度で出力のスピードは変わらない（一定の量の計算をすると確率が出力される）ので、自分は今まで「じっくり考えられない点がAIと人間の違いだなー」と思ってましたが、あっさりとLLMもじっくり考えられれるようになってしまいましたね。 o1は評価が割れていますが、頭がよすぎても、それを使う人が理解できない、能力を使いこなせない、そもそも
15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー | DevelopersIO
15時間で学べるAI学習決定版。グーグルが提供する無料の機械学習集中講座が大幅刷新され、LLMもカバー Googleが提供する無料の機械学習の集中講座はご存知でしょうか? 機械学習に関する幅広いテーマを座学・動画・実験・コーディングといった様々なアプローチで15時間で学べます。しかも無料です。 このコンテンツはもともとは2018年に公開されたものであり、多くのエンジニアに活用されました。 とはいえ、2017年のTransformerの論文、大規模言語モデルの発展、2022年のChatGPTリリースなど、AIは急速に発展し、より広い職種に身近なものになっています。 この流れを受けて、入門講座は2024年8月に大幅に刷新されました。 ※冒頭で登場するResearch DirectorのPeter NorvigはAIの世界的な教科書"Artificial Intelligence: A Mode
資料生成AI「Napkin」がマジすごすぎる。
以下の記事などで既にかなり話題になっていますが、ぼくも触ってみました(使い方などの詳細はこちらの記事を参照してください)。 結論としては、マジすごくてかなり衝撃的です。すべてのホワイトカラーワーカーにとって、かなりディスラプティブなツールになるのではないでしょうか。 自分はコンサルタントでして、これまでにたくさんの資料を作ってきてスキルを磨いてきたつもりだったので、AIポン出しでここまでのものが出てきてしまうと、正直、人生について考えさせられちゃいますね。 この記事では、Napkinを使ってどういう資料ができたのか共有したいと思います。 ポストモーテムの勉強会をしたいなと思っていたので、まずはChatGPTで資料の骨子を出力し、それをNapkinに入力してみました。それで得られたのが、以下の資料です。 スライド1: タイトルスライド タイトル: ポストモーテムの教科書 副題: SREにおけ
OpenAIがアメリカ当局者に対し「Strawberry」と呼ばれる画期的な成果をデモ、コード名「Orion」という主力LLMのトレーニングデータを作成することでGPT-4越えの性能を目指す
OpenAIはStrawberryという複雑な数学やプログラミングのタスクに取り組めるAIモデルと、OrionというGPT-4を上回るAIモデルという2つのモデルを開発しているとテクノロジー業界に詳しいメディアのThe Informationが報じました。 OpenAI Shows ‘Strawberry’ AI to the Feds and Uses It to Develop ‘Orion’ — The Information https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion OpenAI Races to Launch ‘Strawberry’ Reasoning AI to Boost Chatbot Busines
Xの生成AI「Grok」がアップデート、GPT-4やClaude3.5超えうたう 有料会員に先行提供
米AI企業xAIは8月13日（現地時間）、大規模言語モデル（LLM）の新バージョン「Grok-2」「Grok-2 mini」の早期アクセスを始めた。Xの有料プラン「プレミアム」と「プレミアムプラス」の会員向けにβ版を先行提供する。8月後半には法人向けにAPIの提供も開始するという。 Grok-2は、チャットbotの優劣を評価できるWebサービス「Chatbot Arena」でGPT-4 TurboやClaude 3.5 Sonnet（いずれも5月時点の性能）といったLLMを上回るスコアを出したとうたうモデル。もう一方のGrok-2 miniは速度を重視した小型モデルだが、Xが4月に発表した、画像認識ができるAIモデル「Grok-1.5V」を上回る性能という。
AIで人間の生活・常識・行動様式・価値観は大きく変わる Preferred Networks岡野原氏が話すLLMの最前線
Preferred Networksの岡野原氏が、「LLMの最前線と今後の展望」というテーマで、LLMの現状と今後について話をしました。全2回。 岡野原大輔氏の自己紹介 岡野原大輔氏：今日は、たくさん資料を用意しているので、少し巻きでどんどんいきたいと思います。 さっそく自己紹介をできればと思います。（スライドを示して）私はPreferred Networksの岡野原と申します。西川と一緒に会社を経営し、もう15年ですかね。Preferred Networksという会社としては、今年10周年を迎えました。 私自身は、今、「Twitter（現X）」で@hillbigという名前で、よくいろいろな論文をツイート（ポスト）をしているので、それで知っている方もいるかもしれません。そういった最先端の研究の状況を追いながら自分たちも作って、それを社会実装していく製品、サービスなどを作っていく部分に力を入
AIが量産するデータで何度も学習するAIは「モデル崩壊」する研究結果、SD級の大型画像生成AIを「約29万円」「2.6日」の高コスパで訓練できるSonyAI開発「MicroDiT」など生成AI技術5つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge
Google DeepMindは、同社のAIシステム（AlphaProofとAlphaGeometry 2）が2024年の国際数学オリンピック（IMO）の問題6問中4問を解いたと発表しました。解くのに3日かかった問題もありましたが、超難問も含め42点満点中28点を獲得しました。これは銀メダル相当の成績で、金メダル圏内まであと1点という高得点です。 さて、この1週間の気になる生成AI技術をピックアップして解説する「生成AIウィークリー」（第57回）では、生成AIが生成したコンテンツを生成AIが学習し続けると性能低下が見られ、モデル崩壊が起きるという研究報告を取り上げます。また、Sony AIが大型の画像生成AI（11.6億パラメータ）の訓練を8台のNVIDIA H100 GPUを使用してわずか2.6日で完了し、しかもそれが約29万円という高いコストパフォーマンスを達成した手法「MicroDi
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
Difyを使ってノーコードでAIエージェントを作成する - Taste of Tech Topics
こんにちは、機械学習チーム YAMALEX の駿です。 YAMALEX は Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 （詳細はリンク先をご覧ください。） 最近は GPT-4o や Claude 3 を使ったアプリを、せっせと実装したりしていたのですが、Difyの登場により「もう、これでいいじゃん」という気持ちが抑えきれていません。 今回はそんなDifyを使って、「LLM自体の知識が足りないときにGoogle検索を行って回答するチャットボット」を作ってみました。 Google検索して答えてくれる 1. 概要 1.1. Difyとは 2. 環境構築 3. アプリ作成 3.1. 各ブロックの簡単な説明 4. 動かしてみる 5. まとめ 1. 概要 1.1. Difyとは Difyは、大規模言語モデル（LLM）を活用したアプリ
LLMで学習不要のレコメンドエンジンを実現
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、LLMを使用したレコメンドエンジン作成のフレームワークについて、簡潔に解説していきます。 サマリー LLMを使用したレコメンドエンジン作成のフレームワーク(以降、「提案されたレコメンドエンジン」)は、Amazonの研究チームによって発表された論文で提唱されました。 このレコメンドエンジンの特徴は、ファインチューニングを利用していないLLMとユーザーの行動(商品のクリックなど)情報を元に、レコメンドの性能を継続的に改善できる点です。ユーザーの行動をもとに、LLMにより関連性の高い商品を推測させることでレコメンドの性能を上げています。 より詳細な解説は以下の記事、もしくは論文を参照してください。
「よーしパパ、Ollama で Llama-3-ELYZA-JP-8B 動かしちゃうぞー」 - Qiita
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 エンドレス水出しコーヒーの時期になりましたね。 今回は、Ollama を使って日本語に特化した大規模言語モデル Llama-3-ELYZA-JP-8B を動かす方法をご紹介します。 このモデルは、日本語の処理能力が高く、比較的軽量なので、ローカル環境での実行に適しています。さあその性能は如何ほどに！！！！？？？？はやくAIは俺から仕事を奪え。 Llama-3-ELYZA-JP-8Bとは Llama-3-ELYZA-JP-8Bは、ELYZA社が開発した日本語に特化した大規模言語モデルです。Meta社の「Llama 3」シリーズをベースに、日本語での追加学習を行っています。80億パラメータという比較的小さなモデルサイズながら、「GPT-3.5 Turbo」や「Claude 3 Haiku」、「Gemini 1.0 P
「GPT-4」を上回る日本語性能のLLM「Llama-3-ELYZA-JP」を開発しました｜ELYZA, Inc.
本記事のサマリーELYZA は、「Llama-3-ELYZA-JP」シリーズの研究開発成果を公開しました。700億パラメータのモデルは、日本語の生成能力に関するベンチマーク評価 (ELYZA Tasks 100、Japanese MT-Bench) で「GPT-4」を上回る性能を達成しました。各モデルは Meta 社の「Llama 3」シリーズをベースに日本語で追加学習を行なったものです。 ■「Llama-3-ELYZA-JP-70B」 700億パラメータモデル。「GPT-4」を上回る日本語性能を達成。無料で利用可能なデモを用意しています。 ■「Llama-3-ELYZA-JP-8B」 80億パラメータと軽量ながらも「GPT-3.5 Turbo」に匹敵する日本語性能を達成。モデルを商用利用可能な形で一般公開しました。 使用したAPIのバージョンなど、より詳細な評価結果については本記事の後段
スクリーンショットを使ってRAGの精度向上。「DSE」を解説
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「Document Screenshot Embedding(DSE)」について、ざっくり理解します。 この記事は何 この記事は、RAGの文書検索精度を高めるための論文「Document Screenshot Embedding(DSE)」[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Document Screenshot Embedding(DSE)は、RAGシステムの一部分を効率化する手法です。具体的には、「ユーザーの質問に対して最適な文書を検索をする」部分の性能を高めます。ウォータールー大学の研究者らによって202
GPTを生んだ先端技術「Transformer」、その基礎を正しく理解する
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 すっかり市民権を得た対話型AIサービス「ChatGPT」。ChatGPTで用いられている自然言語モデルが「GPT」（Generative Pre-trained Transformer）です。いわゆる「大規模言語モデル」（LLM：Large Language Model）の1つであり、本稿執筆時点（2023年12月）の最新バージョンは「GPT-4 Turbo」です。バージョンを追うごとに、精度向上などの進化を遂げてきました。 このGPTの核となるディープラーニング（深層学習）のモデルが「Transformer」です。前述のGPTの正式名称を見直すと、「T」はTransformerのTであることがわかります。このネ
RAGで人間の脳を再現。「HippoRAG」を理解する
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
RAGできるSlackチャットボットを作ってみた | DevelopersIO
Bedrock, OpenSearch Serverless, App Runner, Slack Bolt, LangChainを利用してRAGを実行できるSlackチャットボットを作成しました。 こんにちは。たにもんです。 生成AIを活用したアプリケーションの代表例としてRAG (Retrieval-Augmented Generation; 検索拡張生成) があります。 LLMが生成する文章にはもっともらしい嘘（ハルシネーション）が含まれることがありますが、RAGを用いることでハルシネーションを抑える効果が期待できます。 ハルシネーションはLLMが学習していない知識に関する文章を生成する際に発生する可能性が高まりますが、RAGではユーザーの入力に関連する情報を外部から検索してLLMの知識を補ってあげることで精度向上を目指します。 今回はRAGを実行できるSlackチャットボットを作っ
LLM にコードを「差分」で書き換えさせるためのアイデア
既存の LLM コード生成の問題 LLM は行カウントやワードカウントが苦手。 例えば自分は SourceMap を扱うコードのテストを書かせようとしたが、モックデータの line:column がガバガバな位置を指してまともにテストにならない。行カウント/ワードカウントができないのはつまり diff がうまく生成できない。 これらの問題があって、コードを生成するパイプラインを組む場合、 全文出力が主流になっている。 ここで何が問題になるかというと、コードが膨らんで来た時に、(書き変える対象が一部だとしても)生成が顕著に遅くなる。うまく生成できなかった時にリトライを繰り返すと、問題がさらに悪化する。 改善手法の提案: 明示的な Line Number の付与 最近の LLM は入力ウィンドウがある程度大きくても、そこそこの速度で応答する。(お金はかかるが...) 問題は生成速度にある。特に
中国AIが加速。Soraに匹敵する中国の動画生成AI「KLING」、中国アリババの最新オープンLLM「Qwen 2」登場など生成AI関連技術5つを紹介（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第50回目は、生成AI最新技術の概要5つを紹介します。 生成AI論文ピックアップ Soraに匹敵する動画生成AI「KLING」登場。中国のショート動画アプリ開発チーム「快手」が手がける アリババグルーブが開発するオープンソースな大規模言語モデルの新バージョン「Qwen 2」登場 ラベルなし静止画の学習だけ、ビデオ内の動く物体を検出・追跡できるモデル「MASA」 相手が話している適切なタイミングで同時翻訳するAIモデル「StreamSpeech」 OpenAIが大規模言語モデルの中身を理解するモデルを発表。GPT-4の中身は1600万の特徴を持つ Soraに匹敵する動画
自然言語とVision&Language
東京大学大学院の2024年度講義「知能情報論」で使用した資料です． Vision&Language関連の研究について，深層学習初期から大規模モデルにいたるまでを概観しています． なお，資料作成時期は2024年5月下旬であり，内容はその時点で発表されていた研究等に基づいています．
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
