タグ

num*と機械学習に関するsh19910711のブックマーク (6)

  • Juliaで機械学習:Flux.jlではなくLux.jlを使ってみる - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Julia機械学習をする場合、Flux.jlが有名かと思います。一方で、最近では、Lux.jlというパッケージもあります。名前もよく似ていますし使い方も似ている気もしますから、この二つは一体何なのだろうか?と思った方もいるかと思います。 この記事では、Flux.jlの違いを見るとともに、Lux.jlによる関数フィッティングをやってみることにします。 まず、Flux.jlで関数フィッティングをした記事は、Julia機械学習:Flux.jlで自由自在にオリジナルレイヤーを組んでみよう 2023年版にありますので、Flux.jlに興味があ

    Juliaで機械学習:Flux.jlではなくLux.jlを使ってみる - Qiita
    sh19910711
    sh19910711 2024/10/09
    "Lux.jl: 機械学習のモデルに関するパッケージ + 他のパッケージと組み合わせて学習を行う / モデルは学習可能なパラメータを持っていない / モデルにパラメータを流し込むことでモデルが値を出力"
  • RWKVをjuliaで試してみる - Qiita

    はじめに こんにちは、RetailAIの@long10langです。さて、advent calendar今年は何書こう?というわけで、あれこれ考えた結果、あまり理解が進んでいなかったRWKVについてちゃんと調べてみようと思い立ちまして、それなら単にRWKVの説明をしたところで面白くないので、juliaでいっちょやってみっかということで、やって行きたいと思います。 目次 RWKV 実装あれこれ 苦労話 まとめ 参考文献 RWKVについて やはり、今年はなんと言ってもChatGPT元年ということで、いろんなことがありました。もうすっかり市民権を獲得したと言っても過言ではないtransformerですが、その根幹をなすSelf-Attentionという仕組みは、もちろん画期的な発明ではありましたが、学習量がすんごいことになるため、一般人がそう簡単に手出しできるような代物ではありませんよね。 とは

    RWKVをjuliaで試してみる - Qiita
    sh19910711
    sh19910711 2024/06/15
    "RWKV: transformerの効率的な並列学習と、RNNの効率的な推論の両方を兼ね備えたモデル + 同じサイズのTransformerと同等の性能を発揮 / ちょっとjuliaだけでは実装が厳しいとなっても、すぐPythonでなんとかできる" 2023
  • Juliaで機械学習:Flux.jlで自由自在にオリジナルレイヤーを組んでみよう 2023年版 - Qiita

    Flux.jlがバージョンアップし、Julia機械学習:Flux.jlで自由自在にオリジナルレイヤーを組んでみよう の内容が古くなってきていますので、新しく記事を書くことにしました。書き方を、最新のFlux.jlのマニュアルに書かれているような形に書き換えています。 はじめに Julia機械学習するならFlux.jlが有名です。 https://github.com/FluxML/Flux.jl これまで、いろいろを記事にまとめてきました。 Julia機械学習:深層学習フレームワークFlux.jlを使ってみる その1:基Julia機械学習:深層学習フレームワークFlux.jlを使ってみる その2:線形回帰編 Julia機械学習:深層学習フレームワークFlux.jlを使ってみる その3:ニューラルネットとバッチ正規化編 Julia機械学習:Flux.jlで自由自在にオリジナ

    Juliaで機械学習:Flux.jlで自由自在にオリジナルレイヤーを組んでみよう 2023年版 - Qiita
    sh19910711
    sh19910711 2024/05/29
    "Flux.DataLoader: データをいい感じにシャッフルして取り出し / ResNetを作るにはParallelを使い + Parallel(f,a,b)のような形 + aの出力とbの出力を用いてf(a,b)とする、という意味" 2023
  • 【PyTorch+Numpy】Dataloaderに潜むありがちなバグ - ころがる狸

    PyTorchは素晴らしい機械学習フレームワークですが、データ読み込みに使うDatasetとNumpyによる乱数発生の組み合わせは思わぬバグの発生源となっているようです。2021年4月10日に投稿されたこちらの記事がTwitter上で話題になっています。 tanelp.github.io 一言で要約するなら:PyTorchでデータを読み込む際にマルチプロセス処理を行うと、親プロセスのNumpyの乱数生成器の状態が子プロセスに継承されるため、ランダムであるべき配列の値がすべて同一になる。上記の記事にはコードもついているので、どういうことか手を動かして確認してみましょう。 悪い例その1と解決策 悪い例その2と解決策 torch.randintの力に頼ろう 悪い例その1と解決策 上の記事でも紹介されているコードがこちらです。numpy.random.randint(0, 1000, 3)で0以上

    【PyTorch+Numpy】Dataloaderに潜むありがちなバグ - ころがる狸
    sh19910711
    sh19910711 2024/05/08
    "DatasetとNumpyによる乱数発生 / データを読み込む際にマルチプロセス処理を行うと、親プロセスのNumpyの乱数生成器の状態が子プロセスに継承されるため、ランダムであるべき配列の値がすべて同一になる" 2021
  • 機械学習ゴリゴリ派のための数学とPython

    4. 3 会社紹介 ≪書籍≫ 『One to Oneマーケティングを超えた 戦略的Webパーソナライゼーション』 (出版社:日経BP社 発売:2002年5月) 弊社代表トーマス・フォーリーの著書です。 ≪受賞歴・メディア掲載≫ 社名 : 設立 : 代表者 : 資金 : 事業内容: 所在地 : シルバーエッグ・テクノロジー株式会社 1998年8月 代表取締役兼CEO トーマス・フォーリー 242百万円 (2016年10月26日現在) 人工知能技術をベースとした、 リアルタイムレコメンドサービスおよび ターゲティング型広告サービスの提供。 【大阪社】 〒564-0063 大阪府吹田市江坂町1-23-43 ファサード江坂ビル10F 【東京オフィス】 〒102-0072 東京都千代田区飯田橋2-6-6 ヒューリック飯田橋ビル5F スマートターゲティング技術で、リアルタイムレコメンドサービス『ア

    機械学習ゴリゴリ派のための数学とPython
    sh19910711
    sh19910711 2019/07/13
    "数学の知識は大事 / 数値計算の知識も大事 – 数学ができれば学習コストは低い"
  • Juliaを使った機械学習

    9. よく見るirisをplot Pkg.add("RDatasets") using RDatasets using Gadfly iris = data("datasets", "iris") head(iris) tail(iris) plot(iris, x = "SepalWidth", y = "SepalLength", color="Species") 11. k-means Pkg.add("Clustering") using Clustering x = rand(100, 10000) k = 50 result = kmeans(x, k; max_iter=50, display=:iter) result.assignments 12. SVM Pkg.add("SVM") using SVM using RDatasets ! # Read iris dat

    Juliaを使った機械学習
  • 1