AIや機械学習が持て囃されて、統計分析やデータ可視化がいまいち主流になれない理由 - 渋谷駅前で働くデータサイエンティストのブログ
先日のことですが、こんなことを放言したら思いの外伸びてしまいました。 データ可視化は一時期物凄く流行った割に今はパッとしない印象があるんだけど、それは結局のところデータ可視化が「見る人に『考えさせる』仕組み」だからだと思う。現実の世の中では、大半の人々は自分の頭で考えたくなんかなくて、確実に当たる託宣が欲しいだけ。機械学習やAIが流行るのもそれが理由— TJO (@TJO_datasci) 2024年8月28日 これはデータサイエンス実務に長年関わる身としてはごくごく当たり前の事情を述べたに過ぎなかったつもりだったのですが、意外性をもって受け止めた人も多ければ、一方で「あるある」として受け止めた人も多かったようです。 基本的に、社会においてある技術が流行って定着するかどうかは「ユーザーから見て好ましいかどうか・便利であるかどうか」に依存すると思われます。その意味でいうと、データ分析技術にと
Langchainを使用したKnowledge Graphの構築と質問応答 - Qiita
はじめに 「Knowledge Graph（知識グラフ）」は、情報を関連付けて構造化するグラフベースのデータモデルです。エンティティ（例：人、物、場所、概念など）間の関係をノードとエッジで表現することができます。以前紹介したRetrieval（本記事の下に該当記事へのリンクがあります）を用いた方法と似ているのですが、Retrievalが基本的には1:Xでデータベースから回答に関連した情報を探しにいくのに対し、知識グラフでは、逆引きを含むX:Xのような情報が複雑に関連している場合や、複雑なクエリの解決に役立ちます。一方で、情報の正確性確保やスケーラビリティの問題などの課題も存在します。 今回は、Langchainを使用して、テキストから知識グラフを構築し、その知識グラフを基に質問応答を行う方法について解説します。知識グラフを使うことで、ChatGPTだけでは回答の難しい、現在の出来事や専門知
Constructing knowledge graphs from text using OpenAI functions: Leveraging knowledge graphs to power LangChain Applications
Constructing knowledge graphs from text using OpenAI functions: Leveraging knowledge graphs to power LangChain Applications Editor's Note: This post was written by Tomaz Bratanic from the Neo4j team. Extracting structured information from unstructured data like text has been around for some time and is nothing new. However, LLMs brought a significant shift to the field of information extraction. I
ベクトル検索の苦手を克服。ナレッジグラフでRAGを作る
TL;DR ベクトル検索だと、複数のステップを踏まないと答えられない質問の検索がむずい 「TomにEmil Eifrém（Neo4jのCEO）を紹介してくれる人は？」とかを検索むずい ナレッジグラフは構造化データと非構造化データをうまく扱えてベクトル検索の苦手を補える 課題はあるけどナレッジグラフは、Neo４jとLangchainで構築できるよ。 はじめに 今回はベクトル検索の苦手分野をどうしても補ってあげたいとおもっている筆者やまぐちが、ベクトル検索の苦手を補ってあげられるナレッジグラフに関してまとめていこうと思います。 少々長い記事ですが、ベクトル検索を労ってあげたいと思っている方はぜひ読んでください。 ベクトル検索の限界 以前の記事の最後にも少しだけ記載しましたが、ベクトル検索は以下の問題点があります。 必要な情報がTop Kのドキュメントには含まれていない可能性がある。 チャンクの
目に映るものの名前をできる限り知りたい
写真に映っているものの名前をなんでもお教えてください、と呼びかけたところ、あらゆる分野の人からものすごい量の情報が寄せられ、写真がたちまち名前で埋め尽くされる、という経験をした。 顛末を紹介します。
「知識を手に入れるための知識」がない人にとって、Google検索はあまりにも難しい。
私はGoogle検索が大好きです。 天文学も、サブカルチャー史も、世界史も、ググれば楽しい情報をざくざく掘り出せます。ただし、そのためには工夫が必要ですが。 Google検索は召喚術で、あなたの詠唱能力が試されている 偉大なグーグルウィザードは、Googleという名の巨大な魔法の杖に絶妙のワードを入力し、森羅万象を明らかにする。 ネットの奥底に眠る鉱脈を掘り当て、ときには女子中学生の精霊を眼前にかき集めてみせる。一方、駆け出しのグーグルユーザーは、ぎこちなくワードを唱え、wikipediaやyahoo知恵袋を呼び出すのが精いっぱい……。 この2013年のブログ記事を要約すると、「Google検索で良い知識を手に入れるには、検索ワードを工夫する必要がある」というものです。 “Google検索は、ありきたりの検索ワードしか入力しない人には、ありきたりの知識しか見せてくれない。だから、興味深い知
７割が「法知識不足」…大阪市「人物重視」採用 : ニュース : 読売新聞（YOMIURI ONLINE）
大阪市が、２０１２年度実施の職員採用試験（大卒程度）から専門知識を問う問題を廃止し、エントリーシート（ＥＳ）や論文など「人物重視」に変更したところ、採用者の７割が「法律知識不足」を認識していることが市のアンケートでわかった。制度変更前の旧試験組の２倍で、市は今年実施した来春採用者向けの試験で、論文で法律知識を問う問題を設定した。 「人物重視」の試験は、多様な人材を集めるため、橋下徹市長が導入。１３年４月の採用者から教養試験や憲法、行政法などの専門試験を廃止し、ＥＳを導入して論文や面接中心にした。市によると、こうした「人物重視」試験だけで採用を行っているのは、２０政令市で大阪市だけという。 しかし、庁内から「法律と条例の違いもわからない」「市と区のすみ分けなど、行政の仕組みが理解できない」などの声が上がり、「法律知識が不足していると、クレーム対応を誤り、訴訟になりかねない」との指摘もあったと
ニコナレ
niconare（ニコナレ）は、資料、発表者、場所、聴衆を記録し、プレゼンテーションを丸ごと残すことができるサービスです。スライドデータの共有はもちろん、発表の音声や、登壇イベントの情報を含めて共有したり、視聴者の方の質問に答えることもできます。
SEOはテキストの最適化からエンティティの最適化へ at #SemTechBiz 2014
[対象: 上級] SemTechBiz 2014 カンファレンスのセッションレポートの第2弾です。 Barbara Starr（バーバラ・スター）氏のセッションと2本立てで構成された、Bill Slawski（ビル・スロースキ）氏によるセマンティック検索をテーマにしたもう1つのセッションになります。 テキストを対象にしていた昔のSEO サイトの運営を自分が初めて始めた2005年当時のSEOは、titleタグやh1タグのようなタグで”テキスト”を対象にしたSEOだった。 その当時のSEOのチェック項目 URL構造 情報設計 ページにおけるキーワードの使用 サイトスピード 正規化 など エンティティが加わった現在のSEO エンティティに対するSEOが今は加わった。 エンティティのチェック項目 サイトにどんなエンティティが現れているか 会社名やドメイン名でどんなふうにサイトが検索結果に表示されて
「はたして平安時代の人はキスをしたのか？」NHK大河ドラマ時代考証に目からウロコ - エキサイトニュース
「はたして平安時代の人はキスをしたのか？」 NHKの大河ドラマ「義経」（2005年）の打ち合わせ中に、そんな話題が出たという。時代考証担当のスタッフが調べたところ、平安中期の天台宗の学僧・源信による『往生要集』に「ウ」（「烏」に「欠」を組み合わせた漢字）という言葉が出てくることがわかった。 これは「鳥が互いにクチバシを突き合う」意味で、まさしくキスを指す。 《「いはんやウ抱（うほう。ウは前出の「烏」に「欠」を組み合わせた字）（接吻して抱き合うこと）して婬楽せんをや」（岩波書店『日本思想大系 源信』三八頁）。とすると平安時代すでにキスはあったということになる。しかし、九歳で比叡山に入った日本史上屈指の学僧源信はいかにしてこの言葉を知り、わざわざ自著に使ったのだろうか》（大森洋平『考証要集 秘伝！ NHK時代考証資料』） 私は「アッー！」的な行為が比叡山であったからじゃないかと邪推してしまうの
少しでも研究に興味がある人，面白いテーマを探している人は「研究に必要なたったN個の事」とかいう記事を読まずに今すぐに"How to do good research, get it published in SIGKDD and get it cited!"を読
言いたいことはタイトル． そもそもSIGKDDとはSpecial Interest Group on Knowledge Discovery and Data Miningというデータマイニングや知識獲得のトップカンファレンス．WWWについで読んでて興味が合う論文が多い． How to do good research, get it published in SIGKDD and get it cited!(pdf) 173ページあるスライドだけど良い事ばかり書いてあるし，読者を楽しませるような非常に多くの著者の実体験(成功したものだけでなく，失敗したものも)や，後半になるとダメな論文，間違っている論文，その例が大量に載っていて飽きずに読める．ただKDDに通したい人だけでなく，研究を少しでもやろうとしている人，論文を書こうとしている人，面白いことをやりたい人は必ず読むべき． 適当に面白か
カラス、数の大小を認識 宇大・杉田教授らが解明｜下野新聞「ＳＯＯＮ」
カラスが数の大小を認識できることが３日までに、宇都宮大農学部の杉田照栄教授（動物形態学）のグループの研究で分かった。同日までに国際的な動物行動学会誌「アニマルビヘイビア」に掲載された。カラスの数の認識力を証明した実験は世界初。２００３年から杉田教授と学生らが実験を重ねてきた。杉田教授は「脳の一部をみれば、人間の５、６歳に当たる能力がある」と話している。 実験はハシブトガラス８羽で行った。カラスを入れたケージ内に、同じ餌入れ容器を二つ用意し、それぞれに２個と５個の丸印を描いた紙製のふたをかぶせた。５個の方だけに餌を入れ、ふたを破って食べられるようにし、餌の取得率が７割を越えるまで訓練した。 その後、マークについて(1)配置を換える(2)三角や四角にする(3)大きさを変える－の３パターンで１羽につき20回実験。マークの位置や形、空いたスペースの面積で判断していないことを裏付けた。 さらにマーク
デジタルレファレンス＞＞＞Q&Aサイト≒対面のレファレンス？ 「Q&Aサイトと公共図書館レファレンスサービスの正答率比較」（知的コミュニティ基盤研究センター第79回研究談話会） - かたつむりは電子図書館の夢をみるか（はてなブログ版）
お久しぶりです、８月は一度も更新しなかったmin2-flyです。 別に何かあったというわけではなく、月初めに出張した以外はほとんど何もなかった（月末の合宿以外、つくばから出すらしなかった）結果として、書くことがなかったっていうね（汗） 恐るべし夏休み。 今年は節電の影響もありましたしね。 とはいえ時はもう９月！ 再びイベントなどが盛り上がってくるシーズンになりました、ってことで久々の更新は知的コミュニティ基盤研究センターの研究談話会、「Q&Aサイトと公共図書館レファレンスサービスの正答率比較」です！ 知的コミュニティ基盤研究センター第79回研究談話会のご案内 テーマ：「 Q&Aサイトと公共図書館レファレンスサービスの正答率比較 」 講演者：辻慶太先生 （筑波大学大学院図書館情報メディア研究科 准教授） 日時：平成23年9月7日 (水) 16時〜17時 場所：筑波大学 筑波キャンパス 春日エ
プレスリリース/ニュース
主に報道機関ならびにジャーナリスト向けの発表を掲載しています。 適時開示・決算資料などはIRサイトをご覧ください。 取材申込み お問い合わせ 2019.7.17. オウケイウェイヴ、本社移転のお知らせ 2019.7.17. オウケイウェイヴ子会社のOKGAIA、『OK STO研究所』を開設 2019.7.12. 『OKWAVE AWARD 2019』受賞者を発表 2019.7.11. 脳波測定の結果、上司からの「感謝の伝え方」で部下のストレス度に差が出る結果に！ 2019.6.27. 当社海外グループ会社OKfinc、マイニングサービス事業を開始 2019.6.27. FAQシステム『OKBIZ. for FAQ / Helpdesk Support Ver.7.16』を発売 2019.6.26. オウケイウェイヴのAIを活用した感謝と健康に関する共同研究を実施 2019.6.26. FA
人力検索はてなリニューアルに寄せて - jkondoの日記
今日告知をした通り、人力検索はてなを来週リニューアルします。 その中でも大きな変化が、質問を無料でできるようになることです。 人力検索はてなははてなの最初のサービスです。はてなという会社ができた発端です。はてなという名前の由来です。 これまでずっと、「有料だからこそ良い回答が集まる」サービスとして運営してきました。 事の発端は僕が実家に帰った時でした。父親がパソコンでネット検索をするものの、なかなか思うように検索ができず、苦労していました。その様子を見て、「もっと誰でも簡単に必要な情報を検索できる方法が必要になる」と思いました。 「誰でも話し言葉で簡単に情報を探してもらえるサービスを作ろう」「しかも回答者はネットから広く集めれば良いんだ！」というアイデアで人力検索の構想を温めました。 その時にどうしても引っかかったのが、無料サイトの「初心者いじめ」でした。 当時からたくさん人がいる掲示板サ
【訂正しました！】非常用の水の確保（水の専門家小島貞男さん）→こうすれば冬は３か月持つ！ - 左巻健男＆理科の探検’s blog
─────────────────────────── 【注意】高度さらし粉は皮膚についたり目に入ると藥傷を受けるので使用するときは保護手袋、保護眼鏡を着用する。取り扱い後はよく手を洗うこと。飲み込まないこと。吸入しないこと。 高度さらし粉は酸化性物質なので可燃物と一緒にしない、また熱から遠ざける（たとえば喫煙しないこと）。 ─────────────────────────── ※方法に抜けた部分があったので訂正しました（４／１３）。 ４／５か６にこれをやった人は1週間ちょっとなので今の水を捨てて新しい水に入れ替え。今日のブログには都水道局のもの等情報付加。 ※さらし粉は内部殺菌のためです。高度さらし粉（ふつうさらし粉はこれ）は固形状、顆粒状、粉末状があると思います。どれでもOKです。高度さらし粉は食品添加物ですが、念のために溶かした水は飲まないように！ 「阪神大震災に学んだ、非常用の水
誠意悪用された入試問題“回答者”「全くもって迷惑極まりない話」 ― スポニチ Sponichi Annex 社会
誠意悪用された入試問題“回答者”「全くもって迷惑極まりない話」 京都大などの入試問題がインターネットの質問サイト「ヤフー知恵袋」に投稿された問題で、質問に回答した人々は、一部の不正のために、自分たちの誠意が悪用されたことに反発している。 ２月上旬に「ａｉｃｅｚｕｋｉ」を名乗る人物からの質問に対し答えを書いた５０代の男性に、ヤフーＩＤをもとに２月２８日、メールで取材を申し込んだ。即座に返信メールで「全くもって迷惑極まりない話。（入試問題とは）気付くはずがありません」と憤った。 普段から知識の及ぶ限り回答し、見返りとして教えてもらう「ギブ・アンド・テークの精神」でサイトを利用してきたという。 「今回の不正は大学やヤフーにも責任がある。皆がモラルを守って利用すればこれほど便利なものはない」と指摘する。 ヤフー知恵袋のサイト内でも不正発覚後、「ａｉｃｅｚｕｋｉ」氏の質問に答えた人々からの
流出の英語問題に翻訳ソフト回答…特定へ - 社会ニュース : nikkansports.com
京都大など４大学の入試問題が試験中、質問サイト「ヤフー知恵袋」に同一名の人物から投稿された問題で２月２８日、早稲田大、同志社大、立教大も被害届提出の検討を始めた。京都府警も同日、本格的捜査に乗り出した。回答の中に翻訳ソフトを使ったとみられる英文があったことも判明。府警では、この英文をそのまま用紙に書いた受験生がいたか調べる。また短文投稿サイトのツイッター上で、同名人物が京大試験でのカンニング自慢をしていたことも分かった。「正体」が徐々に絞り込まれてきた。 京大の担当者は２８日午後、被害届を提出する予定で京都府警本部を訪れたが、この日はまだ提出に至らなかった。ただ、府警は本格捜査に乗り出す方針で、入試運営などに支障を与えた可能性があるとして、業務妨害容疑での立件を視野に投稿者特定作業を本格化させる。京大では「関係書類を提出したが、さらに事実関係を精査する。告訴するかどうかは早急に結論を出す」
京大カンニングの犯人（HN aicezuki）、Twitter mixiの住民と判明！｜ぴろり速報２ちゃんねる
京大カンニングの犯人（HN aicezuki）、Twitter mixiの住民と判明！ 2011年02月28日学校・教育 | 事件・事故コメント(8) つぶやく 404：名無しさん＠涙目です。：2011/02/28(月) 18:38:13.99 ID:pCeDQfhD0 http://headlines.yahoo.co.jp/hl?a=20110228-00000563-san-soci 入試問題を「ヤフー知恵袋」に投稿した人物と同じハンドルネーム「aicezuki」が交流サイト「ミクシィ」にもあり、ミクシィの自己紹介文とツイッターの自己紹介文が同様の内容だった。 さらにツイッターにはこの名前をアルファベットにしたハンドルネームで、入試問題が投稿されたとの報道があった後の、２７日未明から早朝にかけて数回にわたって書き込みがあった。ツイッターは報道前に開設されていた。 内容は「京大
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
オタクの電脳ブログ
