タグ

LLMに関するkisiritooruのブックマーク (72)

  • DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」

    中国DeepSeek(ディープシーク)が開発したLLM(大規模言語モデル)の「DeepSeek R1」に注目が集まっている。 費用対効果に優れているとして話題になっているが、セキュリティー企業などはそのセキュリティーを厳しく評価し始めた。米OpenAI(オープンAI)の「ChatGPT」が登場したときと同じような状況といえるだろう。 DeepSeek R1のセキュリティーを評価したイスラエルのKELA(ケラ)は2025年1月27日、その結果を公表。「DeepSeek R1はChatGPTと類似点があるものの、はるかに脆弱だ」としている。 「ガードレール」は十分か 一般的なLLMには、悪質なプロンプト(指示文)には応じない対策(ガードレール)が施されている。不正な目的で利用しようとすると、回答を拒否する。このガードレールを回避して悪用することはジェイルブレーク(脱獄)と呼ばれる。 ChatG

    DeepSeekのジェイルブレークにセキュリティー企業が成功、「ChatGPTより脆弱」
  • 【ChatGPT活用法】要件定義/業務フロー図の作成/提案書作成まで2時間15分でやってみた

    私は、中小企業のデジタル化をご支援をしています。 これからデジタル化をするという会社で重要なのは要件定義。 ここに力を入れて、毎回10時間以上かけています。 ヒアリングに4時間 業務フロー図の設計に4~6時間 提案書の作成に2~4時間ほど プロジェクトの最初の大事な部分なので、時間がかかることは仕方ないのですが、もっと楽にできないかなと普段から悩んでいます。 個人的には、ヒアリングは全然苦ではないのですが、業務フロー図の作成と提案書の作成が大変なため、どうしても気が進まないことが多いです。 喋る時と資料を作るときは脳の使い方が違うのか、ストレス値が非常に高いように勝手に思っています。 最初に粗くても、たたき台を書き出してくれればその後ツッコミ入れるのはいくらでもやるのに 提案書の大体の型とイメージはあるけど、寝ている間に誰か勝手に作ってくれないかな となんともズボラな根性が毎回顔を出してき

    【ChatGPT活用法】要件定義/業務フロー図の作成/提案書作成まで2時間15分でやってみた
  • 生成AIでなんかやれと言われる皆さんへ(DeepSeekとばっちり編)

    コンバンハ、オイソギデスカ 今日も上司の思いつきで無茶振りされる皆さんお疲れ様です。 DeepSeekみたいな話題が日経新聞に載るたびに新規事業になるんじゃ無いかとかプロトタイプをもってこいみたいなこと言われると災難ですよね。 何がどうなってて、何はできないんですよみたいなのまとめておいたから、俺の屍を越えてゆけ。 まず前提からな 確実なこと DeepSeekが、生成AIモデルをMITライセンスで出した。 巨大なサイズの生成AIモデルを出した。(普通のデスクトップPCでは動かないようなもの) 他がすでに出してた小さいモデルを改良したものを出した。(蒸留したもの、GPU積んでるデスクトップPCなら動くようなもの) 作り方、改良の仕方の論文を出した。ほぼ確実なこと中国が輸入できる制限されたGPU群で生成AIモデルを作った。 生成AIモデルを改良する際に、強化学習のみを用いて改善を行った。 他が

    生成AIでなんかやれと言われる皆さんへ(DeepSeekとばっちり編)
  • DeepSeekはクオンツから誕生、「オタク」が運用挫折乗り越え開発

    3年前、梁文峰氏のクオンツヘッジファンド会社は中国株式市場の混乱で損失を出したとして投資家に謝罪し、「深く恥じ入る」と表明していた。 人工知能(AI)を駆使して銘柄を選び出し、中国最大手のクオンツファンドの一つに急成長した梁氏のハイフライヤー・クオント(幻方量化)にとっては、予想外のつまずきだった。ピーク時に120億ドル(約1兆8600億円)を超えていた同社資産は、この危機で3分の1余り縮小した。その裏側で、梁氏はAIスタートアップ、DeepSeek(ディープシーク)の下準備に着手していた。 こうして幻方量化から生まれたディープシークは、世界的なAIサプライチェーンと重要なAI技術で他の追随を許さないと見られた米国の優位性を今や脅かしている。設立から2年足らずの企業による技術は急激に人気化する一方、27日の欧米株式市場を急落させ、合わせて1兆ドルに近い時価総額が失われた。 また、中国土以

    DeepSeekはクオンツから誕生、「オタク」が運用挫折乗り越え開発
  • DeepSeekはなぜこんな大騒ぎになっていて一体何がそんなにスゴいのか

    2025年1月20日、DeepSeekが推論モデルの「DeepSeek-R1-Zero」と「DeepSeek-R1」をMITライセンスの下でオープンソースとして公開しました。「R1」のトレーニングコストはOpenAIの推論モデル「o1」の約3%程度だとも伝えられたために、AIの開発に対する業界の見方を大きく変えたこのモデルについて、AppleMicrosoft、Automatticでの勤務経験があるアナリストのベン・トンプソン氏が解説しました。 DeepSeek FAQ – Stratechery by Ben Thompson https://stratechery.com/2025/deepseek-faq/ 17 Thoughts About the Big DeepSeek Selloff - Bloomberg https://www.bloomberg.com/news/ne

    DeepSeekはなぜこんな大騒ぎになっていて一体何がそんなにスゴいのか
  • DeepSeekが集める個人情報は「中華人民共和国にある安全なサーバに保存」

    中国DeepSeekのサービスが急激に注目を集めており、1月28日には日のApp Storeの無料アプリランキングでも「DeepSeek-AI」アプリが米OpenAIの「ChatGPT」を抜いて首位に立った(Google Playストアでは71位)。 アプリを利用する前に、DeepSeekが公開しているプライバシーポリシーを一読することをお勧めする。 収集するデータは以下のとおり。 アカウント設定時に提供する情報(生年月日、ユーザー名、メールアドレス、電話番号、パスワードなど) サービス利用時に入力する情報(テキストや音声入力によるプロンプト、アップロードされたファイル、フィードバック、チャット履歴など) 問い合わせ時に提示する身分証明書や年齢の証明、サービス利用に関するフィードバック サービス利用中のIPアドレス、固有のデバイス識別子、Cookieなどのインターネットその他のネットワー

    DeepSeekが集める個人情報は「中華人民共和国にある安全なサーバに保存」
  • 「プログラマとCLINE - これはパンドラの箱なのか」を観た - laiso

    www.youtube.com 昨夜未明、インターネット某所で、プログラミング支援ツール「Cline」と、それを用いたゲーム開発の経験談*1を語り合う会合がありました。 CLINEが持つ、人間の介入を最小限に抑えながら暴走機関車ようにコードを生成する性質を軸に、CopilotやCursorなど既存のAIコーディングツールとの比較や、これまでのコーディングツールのアプローチからの変化、今後の開発における展望も議論されていました。 Clineの性質 ホストの@mizchiさんはClineを「強いパーミッション持って自動で実行されるのでイテレーションの回数が多い」「AIにコーディングのアシスタントではなく主導権を持たせても何とかなるということを気づかせてしまった」と評価していました。Cursorなどと比較してその自律性(相談せず勝手にやっちゃう)に強く惹かれているそうです。 確かに全部読み込ませ

    「プログラマとCLINE - これはパンドラの箱なのか」を観た - laiso
  • ChatGPT超えの中国AI「DeepSeek-R1」の衝撃

    中国AIスタートアップ「DeepSeek」は2025年1月20日、数学的推論やコーディング能力でOpenAIの最新モデル「o1」と同等性能を持つ大規模言語モデル「DeepSeek-R1」を公開した。 使用・複製・改変・再配布を自由に許可する寛容なMITライセンス下でのオープンソース提供および従来比95〜97%のコスト減となるAPI価格が特徴で、AI業界に激震が起きている。 強化学習を重視、コールドスタート問題にも対応 論文によると、DeepSeek-R1の特筆すべき点は、強化学習(RL:Reinforcement Learning)を駆使し、従来の教師あり学習(SFT:Supervised Fine-Tuning)に頼らず、自律的に思考連鎖(CoT:Chain-of-Thought)を学習する点だ。このアプローチにより、モデルは複雑な問題を解決するための思考の連鎖を探索し、自己検証や振り

    ChatGPT超えの中国AI「DeepSeek-R1」の衝撃
  • 話題の中華LLM「DeepSeek R1」の日本語追加学習モデル サイバーエージェントが無料公開

    サイバーエージェントは1月27日、大規模言語モデル(LLM)「DeepSeek-R1」を使った新たなAIモデルを無料公開した。「DeepSeek-R1-Distill-Qwen-14B/32B」をベースに、日語を追加学習させたLLM「DeepSeek-R1-Distill-Qwen-14B/32B-Japanese」をHugging Face上で公開。ライセンスは、MITライセンスで商用利用なども可能だ。

    話題の中華LLM「DeepSeek R1」の日本語追加学習モデル サイバーエージェントが無料公開
  • 中国のDeepSeek、その低コストAIモデルの全て―QuickTake

    同社は、リリースされた「R1」はオープンAIの最新バージョンと同等の性能を提供すると主張。この技術を使用したチャットボット開発に興味のある個人に対して、その上に構築するためのライセンスを付与していると説明している。 ディープシーク「R1」はオープンAIやメタAIと比較してどうか?  ディープシークからの詳細な説明は出ていないが、ディープシークのモデルのトレーニングと開発にかかる費用は、オープンAIやメタ・プラットフォームズの最上位製品に比べるとほんのわずかに過ぎないようだ。 このモデルの優れた効率性は、AI開発各社がエヌビディアのような企業から最新かつ最も強力なAIアクセラレーターの入手に多額の資を投じる必要があるのかという疑問を生じさせる。 また、米国がこのような先端半導体の対中輸出を制限していることがあらためて注視されることになる。輸出制限はディープシークが示すような画期的な進歩を阻

    中国のDeepSeek、その低コストAIモデルの全て―QuickTake
  • DeepSeekショック、アメリカのAI株価が急落 NVIDIA17%下落 - 日本経済新聞

    【ニューヨーク=竹内弘文】中国人工知能AI)企業であるDeepSeek(ディープシーク)が低コスト生成AIモデルを開発したことを受け、米金融市場が揺れている。AI半導体大手エヌビディアの株価は27日に17%安となった。1日の下落率として新型コロナウイルスの感染拡大初期である2020年3月中旬以来、約5年ぶりの大きさを記録した。ナスダック総合、1カ月ぶり下落率AI関連は総じて大幅安となった

    DeepSeekショック、アメリカのAI株価が急落 NVIDIA17%下落 - 日本経済新聞
  • DeepSeek-R1の論文読んだ?【勉強になるよ】

    記事は、DeepSeek-R1の論文とDeepSeekMathの論文を読んだ私の理解をもとに記載しています。 論文で使われている技術に関しては、ある程度の知識を持っているので、大きくは外していないとは思いますが、私の主観も入っている部分もありますので、ご了承ください。 また、DeepSeek-R1の論文が公開される前に、小型モデルに対して同様の実験(強化学習)をしていたグループがあるようです。 そちらのレポートは下記になります。 意図せず、DeepSeek-R1-Zeroの再現実験のようなレポートになっていますが、レポートの著者はDeepSeek-R1論文の公開前から実験していると主張しています。 こちらも非常に興味深かったため紹介です。 論文の興味深いところ 論文は、大きく分けて3つの構成でできています 強化学習による思考能力の強化 LLM(DeepSeek-V3-Base)に対

    DeepSeek-R1の論文読んだ?【勉強になるよ】
  • LLMチューニングのための強化学習:GRPO(Group Relative Policy Optimization) - どこから見てもメンダコ

    DeepSeek-R1にも採用されたLLMチューニングのための強化学習手法 GRPO(Group Relative Policy Optimization)について考えたことをまとめます。 GRPO: DeepSeek-R1の強化学習ファインチューニング手法 前提手法:TRPO/PPO TRPO: Trust Region Policy Optimization PPO: Proximal Policy Optimization GRPOとPPOの差分:①アドバンテージ算出と②参照モデルからのKL距離制約 変更点①: アドバンテージAの算出方法 REINFORCE: 価値関数近似なし方策勾配法 PPO(Actor-Critic): 価値関数近似あり方策勾配法 GRPO: スケーリングされたREINFORCE 変更点 ②: 参照モデル(SFTモデル)からのKL距離制約 従来は参照モデル制約は

    LLMチューニングのための強化学習:GRPO(Group Relative Policy Optimization) - どこから見てもメンダコ
  • ChatGPT新機能「タスク」

    はじめに OpenAIChatGPTにScheduled tasks(日語名:タスク)が追加されました。 生成AIをスケジュール実行していくのは、今後整備されていくであろうAIエージェントへの布石と考えられます。 AIが人間の代わりに考えながらタスクをこなしていく、これをスケジュール化していく世界観がすぐそこにやってきそうです。 使い方 モデルを「ChatGPT タスク」に設定します。 その上で、時間になったらやってほしいことを入力します。 で、初回は通知の許可設定を求められます。「許可」をクリックします。これで設定完了です! 実際にタスクが実行されて、受信したメールはこんなかんじ。「View message」をクリックするとChatGPTへ遷移して実行結果を確認できます。 遷移した結果は、こんなかんじ。 設定したタスクの確認方法 アカウントの写真や画像をクリックして、「タスク」をクリ

    ChatGPT新機能「タスク」
  • 思いつきで作ったAIツールが5000スターを獲得した話

    とにかくケチりたい、そんな気持ちで作ったツールの話です。 元々開発にCline(Claude Dev)やAiderなどの開発ツールを駆使していました。 ただ、APIの料金が常に心配で、できる限り安く済ませたい気持ちもあり、Claude Proを契約してWeb版にファイルを1つ1つアップロードする日々を過ごしていました。 ある日それが面倒になってきて「全部1ファイルにしたらいい感じに読み込んでくれるのでは?」と思い、作ってみたら思いのほかうまくいったので公開しました。 百聞は一見にしかずということで、 こちらのデモにお気に入りのGitHubリポジトリ(例: honojs/hono)を入力してみてください。 Claudeが得意とするXMLっぽいフォーマットで出力し、そのままClaudeにアップロードすることができます。 完全にAIバブルの波に乗ったとも言えるのですが、多くの競合がいる中でスター

    思いつきで作ったAIツールが5000スターを獲得した話
  • ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは?

    GPT4AllでChatGPTライクなユーザーインタフェースで使える大規模言語モデルを構築する ChatGPTMicrosoft Copilotなどの生成AIサービスは「情報漏えいなどが心配」と感じているのならば、手元のWindows 10/11上でLLM(大規模言語モデル)を構築すればよい。ChatGPTライクなユーザーインタフェースを持つ「GPT4All」を使えば、簡単にローカルLLMの構築が可能だ。 ChatGPTMicrosoft Copilot、PerplexityなどのLLM(大規模言語モデル)/生成AIサービスを利用すると、これまで面倒だった作業が簡単にできることがある。ただ、こうした生成AIサービスは、入力データがインターネット上のどこかのサイトにアップロードされることは避けられず、どうしても情報漏えいなどのセキュリティ面で不安がある。 そんな心配がある場合、手元のWi

    ChatGPTライクなUIのローカルLLMを構築できるGPT4Allとは?
  • LLMがオワコン化した2024年

    当ニュースレターは2023年を「SaaSがオワコン化した年」と位置づけたが、2024年は早くもAIが終わった一年であった。少なくとも大規模言語モデル(LLM)そのものの発展を、物珍しそうに追いかける時期は過ぎた。生成AIが今後どこまで賢くなるかはもちろん未知数である。しかし、既に業務で十分に役立つレベルにある現行モデルのコストが今後も下がっていくことは確実だ。 The cost of GPT-4 APIs at launch in Mar 2023 was roughly ~$30 per 1m tokens. Seeing Deepseek V-3 APIs at ~$1 per 1m tokens today. For AI application companies, cost of "intelligence" is falling significantly faster tha

    LLMがオワコン化した2024年
  • 遂にChatGPT Plusを解約してGeminiに移行した話

    最近、長らくお世話になったChatGPT Plusを解約し、Geminiに完全移行しました。 今回は、その理由とGeminiを使ってみた感想を、具体的な数字や比較表を交えながら共有したいと思います。 解約に至った背景 まず、私がChatGPT Plusを解約するに至った主な理由をいくつかご紹介します。 あくまで私の個人的な見解なので、その点はご了承ください。 Geminiの無料枠で十分 以前はChatGPT Plusでなければ実現できなかったことが、Geminiの無料枠で十分にできることに気づきました。 Geminiの無料枠では、以下のような範囲で利用できます。 テキスト生成:1日あたり約100回程度のプロンプト実行 コード生成:簡単な関数やクラスであればほぼ無制限 画像生成:1日に数枚程度(利用状況により変動) その他:基的な質問応答やアイデア出しなど 日常的なテキスト生成やアイデア出

    遂にChatGPT Plusを解約してGeminiに移行した話
  • マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った

    These AI Minecraft characters did weirdly human stuff all on their own マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った 最大1000体のAIエージェントが、ゲーム「マインクラフト」内で驚くべき社会を形成した。エージェントは自発的に役割を分担し、経済活動を始め、文化や宗教を作り上げたという。 by Niall Firth2024.12.03 26 この記事の3つのポイント マインクラフト上で1000体のAIエージェントが自律的にやり取りした エージェントは専門的な役割を担い人間らしい行動を示した 開発者は将来、AIと人間が日常的に交流する世界の実現を目指している summarized by Claude 3 放任された人工知能AI)キャラクターの一群は、ただ生き延びるだけでなく、繁栄し

    マイクラ内に「AI文明」、 1000体のエージェントが 仕事、宗教、税制まで作った
  • 生成AIは「意味」を理解しているのか?「ノリ」で喋れるLLMに、決定的に欠けているものとは | レバテックラボ(レバテックLAB)

    生成AIは「意味」を理解しているのか?「ノリ」で喋れるLLMに、決定的に欠けているものとは 2024年12月3日 京都大学大学院情報学研究科教授/立命館大学総合科学技術研究機構 客員教授 谷口 忠大 1978年生まれ。京都大学工学研究科博士課程修了、博士(工学)。専門は人工知能、創発システム、認知発達ロボティクス、コミュニケーションの場のメカニズムデザイン。全国に広まる書評ゲーム「ビブリオバトル」の考案者でもある。 著書に『コミュニケーションするロボットは創れるか―記号創発システムへの構成論的アプローチ』(NTT出版,2010)、『記号創発ロボティクス 知能のメカニズム入門』(講談社,2014)、『心を知るための人工知能 認知科学としての記号創発ロボティクス』(共立出版,2020)、『ビブリオバトル を知り人を知る書評ゲーム』(文藝春秋,2013)、共編著書に『コミュニケーション場のメカ

    生成AIは「意味」を理解しているのか?「ノリ」で喋れるLLMに、決定的に欠けているものとは | レバテックラボ(レバテックLAB)