ローカルLLMに向き合う会
日本最大のローカルLLMコミュニティでのエッジAI展示・LT発表レポート — 4台のデバイスで完全オフラインAIを構築し、QLoRAで妖怪ハザードマップを開発した実践記録
イベント概要
「ローカルLLMに向き合う会」は、2023年5月にSardra氏（@sald_ra）が設立した、会員2,000名超の日本最大のローカルLLMコミュニティです。 クラウドに依存しないAI（エッジAI・ローカルLLM）の開発知見を共有する場として活動しており、 MetadataLab社からGPU/HPCサーバー（NVIDIA L40S、RTX 6000 Ada等）の無償提供を受けるなど、国内のローカルLLM開発を牽引しています。
筆者はこの会で展示デモとLT（Lightning Talk）発表の2つの形で参加しました。
展示デモ
AI Map Explorer — Jetson / Raspberry Pi / IMX500 の4デバイス構成で子ども向けインタラクティブ地図体験システムを展示
LT発表
妖怪ハザードマップ — ローカルLLM × GIS による防災教育マップ。QLoRAチューニングでJSON出力精度99.97%を達成
AI Map Explorer — 展示デモ
子ども向けインタラクティブ地図体験システム。全AI推論をローカルで実行し、完全オフライン動作を達成。
プロジェクト目標
4台のエッジデバイスを組み合わせた展示用AIシステムの構築
全AI推論をローカルで実行し、完全オフライン動作を達成
リアルタイム性（30FPS以上）と安定性の両立
子どもが直感的に操作できるタンジブルインターフェース
実験で検証したAI技術
コンピュータビジョン
ArUcoマーカー認識・色検出
軽量LLM
Qwen 0.5B による自然言語生成
オンチップAI
IMX500 カメラ内蔵推論
物体検出
Hailo NPU による加速推論
深度センシング
RealSense D435 による3D認識
システム構成 — 4デバイスの詳細
MQTT（LAN内ブローカー）で全デバイス間をリアルタイム連携。インターネット接続不要。
Jetson Orin Nano 8GB
レゴ検出 + 画像合成
GPU: 1024 CUDA cores / RAM: 8GB / 67 TOPS
Raspberry Pi 5 + AI HAT+
カード認識 + 地図表示
IMX500 + Hailo NPU / RAM: 8GB / 13 TOPS
Pi Zero 2 W
ハンドヘルド持ち物検出
USBカメラ / RAM: 512MB / CPU推論
ノートPC（ダッシュボード）
Streamlit + Folium 統合表示
MQTT統合 / リアルタイム監視
全AI推論はデバイス上で完結 / レイテンシ < 10ms（LAN内） / 合計消費電力 約30W
エッジAI / ローカルAIとは
データをクラウドに送信せず、端末上でAI推論を完結させる処理方式です。 ネットワーク接続不要で動作し、低遅延・リアルタイム処理が可能。プライバシーデータが端末外に出ません。
クラウドAI
端末 → ネットワーク → クラウド → 推論 → 返送（100〜500ms遅延）
エッジAI / ローカルAI
端末上で推論完結（1〜50ms遅延）
本プロジェクトでは全AI処理をローカルデバイス上で完結させ、オフライン環境でも安定動作することを実証しました。 詳しくは エッジAIとは をご覧ください。
代表的なエッジAIデバイス
ローカルAIの利点（実測データ付き）
AI Map Explorerプロジェクトで実証された、ローカルAIの優位性。
超低遅延・リアルタイム性
処理パイプライン全体: 約11ms（90FPS相当）。ArUco検出 1ms / HSV色検出 3ms / 画像合成 1ms。
完全オフライン動作
展示会場でWi-Fi不安定でも100%動作。インターネット障害の影響ゼロ。
プライバシー保護
子どもの映像がクラウドに送信されない。GDPR/個人情報保護法に自然に準拠。
運用コストゼロ
クラウドAPI課金なし（月額0円）。全デバイス合計 約30Wの電気代のみ。
高い信頼性
ArUcoマーカー認識精度 99.9%（照明非依存）。決定論的動作でランダムエラーなし。
セキュリティ
外部ネットワーク接続なし。エアギャップによる本質的安全性。攻撃面ゼロ。
ローカルAIのデメリット・課題
実験で明らかになった制約とトレードオフ。
計算リソースの制約
Jetson 8GBでは大規模モデル（7B+）は実用困難。0.5Bモデルに制限。
初期コスト
Jetson: 約5万円 / Pi 5 + AI HAT: 約3万円 / RealSense: 約5万円
開発・デバッグの複雑さ
4デバイス × 異なるOS・アーキテクチャ。ドライバ互換性問題。
精度の限界
0.5Bモデルの日本語生成品質はGPT-4に劣る。ユースケースに合わせた割り切りが必要。
熱管理
Jetsonは連続稼働で70℃超。Pi 5もAI負荷時に80℃到達。冷却設計が必要。
クラウドAI vs ローカルAI 比較
| 比較項目 | ローカルAI | クラウドAI |
|---|---|---|
| レイテンシ | 1〜50ms | 100〜500ms |
| オフライン動作 | 完全対応 | 不可 |
| プライバシー | データ端末内完結 | クラウド送信必須 |
| 月額コスト | 電気代のみ（約30W） | API従量課金 |
| モデル精度 | 用途特化で十分 | 最高精度 |
| 汎用性 | 特定タスク向き | 万能 |
| スケーラビリティ | デバイス追加で拡張 | 無制限 |
妖怪ハザードマップ
「ローカルLLMに向き合う会」でのLT（Lightning Talk）発表。ローカルLLM × GIS を組み合わせ、 防災教育をエンターテインメントにする新しいアプローチを発表しました。
コンセプト
ハザードマップ（防災地図）の情報を、日本各地の「妖怪伝承」と結びつけて表示する防災教育マップ。 「この地域には河童の伝説がある → 実は水害多発地帯」のように、 妖怪伝承が地域の自然災害リスクと結びついていることを可視化します。 子どもから大人まで、楽しみながら防災知識を学べる仕組みです。
技術的アプローチ
QLoRAチューニング — ローカルLLMを妖怪伝承×防災知識でファインチューニング。 構造化されたJSON形式での出力を学習させ、99.97%の精度で正確なJSON出力を実現。
GIS連携 — LLMの出力JSONをQGIS等のGISツールに取り込み、 地図上に妖怪スポットとハザード情報を重ね合わせて表示。筆者のQGIS公式プラグイン開発経験を活用。
完全ローカル実行 — クラウドAPIを使わず、 RTX A6000（48GB VRAM）でモデル学習、推論はエッジデバイスでも実行可能な軽量モデルを目指す。
このプロジェクトが示すもの
ローカルLLMは汎用チャットボットとしてはクラウドLLMに劣りますが、特定ドメインでのファインチューニングにより、 構造化出力の精度では実用水準に達します。 GISとの連携により「AIの出力を地図上で可視化する」パイプラインを構築でき、 防災・教育・観光など幅広い応用が可能です。
ML認識 開発パイプライン
Label Studio + YOLOv8 + エッジデプロイの開発フロー。
データ収集
RealSense D435でレゴ配置を撮影（様々な照明・角度）。目標: 500〜1000枚の学習用画像。
アノテーション（Label Studio）
OSSのWebベースアノテーションツール。ブラウザ上でBBox描画 → YOLO/COCO形式で自動エクスポート。Active Learning連携で効率化。
モデル学習
Ultralytics YOLOv8/v11 でGPU学習。mAP 90%+を目標に精度検証。
エッジデプロイ
ONNX → TensorRT（Jetson）/ IMX500 NNコンパイラ（Pi）。各デバイスに最適化されたモデルを配置。
自動アノテーション — RTX A6000で実現
手動アノテーション（1000枚 × 5分 = 約83時間）をAIで95%以上削減。
Grounding DINO + SAM2
推奨VRAM: ~12GB
テキストで指示→自動検出+セグメント。推奨手法。
YOLO-World
VRAM: ~8GB
ゼロショット検出。学習不要で未知物体を即座に検出。
Florence-2
VRAM: ~15GB
検出+分類+キャプション全対応。1モデルで多タスク。
Active Learning
50枚手動→残り950枚を自動予測。作業量1/10以下に。
結果: 人間の作業はテキスト指示 + 修正確認のみ → 83時間 → 数時間に短縮（95%以上削減）
エッジAI × ML自動化がもたらす社会貢献
「AIを使う人」から「AIを作れる人」へ。専門知識なしでAI開発可能な時代を目指す。
教育格差の解消
- •ネット環境のない学校でもAI体験
- •子どもが「触れる」AI教材
- •科学館がない地域へAI体験を届ける
農業・環境保全
- •圃場での病害虫リアルタイム検出
- •野生動物の自動モニタリング
- •河川・森林の変化を現地で検出
医療・福祉
- •僻地クリニックでの画像診断支援
- •視覚障がい者向けリアルタイム案内
- •映像を外部送信しない高齢者見守り
防災・安全
- •災害時（通信断）でも動作するAI
- •工場・建設現場の安全監視
- •橋梁・道路のひび割れ検出
AI民主化の鍵
農家が自分の畑の写真で病害虫検出AIを、学校の先生が地域の生き物図鑑AIを、 町工場の作業者が品質検査AIを — 自動アノテーションにより、専門知識なしでAI開発が可能に。
結論と今後の展望
結論
ローカルAIは特定用途において、クラウドAIを上回る体験を提供できる
低遅延（11ms）・完全オフライン・プライバシー保護を同時に達成
適切な技術選定（ArUco + HSV + 軽量LLM）で精度と速度を両立
初期コスト・開発複雑性のトレードオフは存在するが、長期運用ではクラウドよりTCO（総所有コスト）が低い
QLoRAによるドメイン特化チューニングで、ローカルLLMでも実用的な構造化出力を実現
今後の展望
より高性能な軽量モデル
Phi-4, Gemma 3等の登場でエッジ品質が向上
NPU搭載デバイスの普及
コスト低下とAI民主化が加速
ハイブリッド構成
普段はローカル、必要時のみクラウドに接続
WebAssembly + WASI-NN
ブラウザ上でのエッジAI実行が標準に
関連ページ
エッジAI・ローカルAIの導入をお考えですか？
展示で実証した4デバイス構成やQLoRAチューニングの知見を活かし、 お客様の課題に合わせたローカルAIソリューションをご提案します。