Skip to content

nnn112358/StackFlow

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 Cannot retrieve latest commit at this time.

History

27 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Module-LLM

概要

Module LLMは、効率的でインテリジェントな対話を必要とする端末デバイス向けに設計された、統合型オフライン大規模言語モデル(LLM)推論モジュールです。スマートホーム、音声アシスタント、産業制御など、クラウドに依存せずにプライバシーと安定性を確保しながら、スムーズで自然なAI体験を提供します。StackFlowフレームワークとArduino/UiFlowライブラリが統合されており、数行のコードで簡単にスマート機能を実装できます。
最新のAX630C SoCプロセッサを搭載し、3.2 TOPsの高効率NPUを統合してTransformerモデルをネイティブサポートし、複雑なAIタスクを容易に処理します。4GB LPDDR4メモリ(ユーザーアプリケーション用に1GB、ハードウェアアクセラレーション専用に3GB)と32GB eMMCストレージを搭載し、複数モデルの並列ロードと順次推論をサポートし、スムーズなマルチタスクを実現します。メインチップの実行時消費電力は約1.5Wで、高効率で長時間動作に適しています。
内蔵マイク、スピーカー、TFストレージカード、USB OTG、RGBステータスライトを備え、音声対話やデータ転送をサポートし、多様なアプリケーションニーズに対応します。モジュールは柔軟な拡張性を提供:オンボードSDカードスロットはコールド/ホットファームウェアアップグレードをサポートし、UART通信インターフェースにより接続とデバッグが簡素化され、モジュール機能の継続的な最適化と拡張を確保します。USBポートはマスター/スレーブの自動切り替えをサポートし、デバッグポートとしても、カメラなどの追加USBデバイスの接続にも使用できます。ユーザーはLLMデバッグキットを購入して100 Mbpsイーサネットポートとカーネルシリアルポートを追加し、SBCとして使用することができます。
このモジュールは複数のモデルと互換性があり、Qwen2.5-0.5B言語モデルがプリインストールされています。KWS(ウェイクワード)、ASR(音声認識)、LLM(大規模言語モデル)、TTS(テキスト音声変換)機能を備え、スタンドアロン呼び出しまたはパイプライン自動転送による便利な開発をサポートします。将来的にQwen2.5-1.5B、Llama3.2-1B、InternVL2-1Bモデルをサポートし、ホットモデルアップデートによりコミュニティのトレンドに対応し、様々な複雑なAIタスクに対応します。視覚認識機能には、CLIP、YoloWorldのサポート、将来のDepthAnything、SegmentAnythingなどの高度なモデルのアップデートが含まれ、インテリジェントな認識と分析を強化します。
M5ホストとのプラグアンドプレイに対応し、使いやすいAI対話体験を提供します。ユーザーは複雑な設定なしで既存のスマートデバイスに素早く統合し、スマート機能を有効化してデバイスのインテリジェンスを向上させることができます。この製品は、オフライン音声アシスタント、テキスト音声変換、スマートホーム制御、インタラクティブロボットなどに適しています。

製品特徴

  • オフライン推論、3.2T@INT8精度の演算能力
  • KWS(ウェイクワード)、ASR(音声認識)、LLM(大規模言語モデル)、TTS(テキスト音声生成)を統合
  • マルチモデル並列処理
  • オンボード32GB eMMCストレージと4GB LPDDR4メモリ
  • オンボードマイクとスピーカー
  • シリアル通信
  • SDカードファームウェアアップグレード
  • ADBデバッグをサポート
  • RGB表示ライト
  • Ubuntu系統を内蔵
  • OTG機能をサポート
  • Arduino/UIFlowと互換性あり

アプリケーション

  • オフライン音声アシスタント
  • テキスト音声変換
  • スマートホーム制御
  • インタラクティブロボット

仕様

仕様 パラメータ
プロセッサSoC AX630C@Dual Cortex A53 1.2 GHz
MAX.12.8 TOPS @INT4 および 3.2 TOPS @INT8
メモリ 4GB LPDDR4(システムメモリ1GB + ハードウェアアクセラレーション専用3GB)
ストレージ 32GB eMMC5.1
通信 シリアル通信 デフォルトボーレート115200@8N1(調整可能)
マイク MSM421A
オーディオドライバ AW8737
スピーカー 8Ω@1W、サイズ:2014キャビティスピーカー
内蔵ユニット KWS(ウェイクワード)、ASR(音声認識)、LLM(大規模言語モデル)、TTS(テキスト音声変換)
RGBライト 3x RGB LED@2020(LP5562駆動、ステータス表示用)
電力 アイドル時:5V@0.5W、フル負荷時:5V@1.5W
ボタン ファームウェアアップグレード用ダウンロードモード入力用
アップグレードポート SDカード / Type-Cポート
動作温度 0-40°C
製品サイズ 54x54x13mm
パッケージサイズ 133x95x16mm
製品重量 17.4g
パッケージ重量 32.0g

関連リンク

ピンマップ

Module LLM RXD TXD
Core (Basic) G16 G17
Core2 G13 G14
CoreS3 G18 G17

LLMモジュールのピン切り替え| LLMモジュールにはピン切り替え用のはんだパッドが用意されています。ピンの多重化が競合する場合、PCBトレースを切断して他のピンセットに再接続することができます。

module size

CoreS3を例に取ると、第1列(左の緑のボックス)はシリアル通信のTXピンで、必要に応じて4つのオプションから1つを選択できます(上から下へ、ピンはG18、G7、G14、G10)。デフォルトはIO18に設定されています。異なるピンに切り替えるには、はんだパッド(赤線部分)の接続を切断し(ブレードの使用を推奨)、残りの3つのピンのいずれかに接続します。第2列(右の緑のボックス)はRXピン選択用で、TXピンと同様に4つのオプションから1つを選択できます。

動画

AIベンチマーク比較

compare

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • C++ 76.7%
  • C 18.9%
  • Fortran 2.0%
  • Makefile 0.9%
  • CMake 0.6%
  • Cython 0.3%
  • Other 0.6%