はじめてのエッジAI開発

import { pipeline } from "@huggingface/transformers";

// モデルをロード（初回はダウンロード、2回目以降はキャッシュ）
const classifier = await pipeline(
  "image-classification",
  "Xenova/mobilenetv2_1.0_224"
);

// 画像を分類
const result = await classifier("https://example.com/cat.jpg");
console.log(result);
// => [{ label: "tabby cat", score: 0.92 }, ...]

// カメラストリームを取得
const stream = await navigator.mediaDevices.getUserMedia({
  video: { facingMode: "environment" }
});
video.srcObject = stream;

// TensorFlow.jsで物体検出
import * as cocoSsd from "@tensorflow-models/coco-ssd";
const model = await cocoSsd.load();

// フレームごとに検出
function detect() {
  const predictions = await model.detect(video);
  predictions.forEach(pred => {
    console.log(`${pred.class}: ${(pred.score*100).toFixed(0)}%`);
  });
  requestAnimationFrame(detect);
}
detect();

# Raspberry Pi OS (64-bit) で実行
sudo apt update && sudo apt upgrade -y

# Python仮想環境を作成
python3 -m venv ~/ai-env
source ~/ai-env/bin/activate

# TensorFlow Liteランタイムをインストール
pip install tflite-runtime opencv-python-headless numpy pillow

# カメラモジュールの有効化を確認
rpicam-hello  # プレビューが表示されればOK

import cv2
import numpy as np
import tflite_runtime.interpreter as tflite

# TFLiteモデルをロード
interpreter = tflite.Interpreter(
    model_path="efficientdet_lite0.tflite"
)
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

# カメラキャプチャ
cap = cv2.VideoCapture(0)

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # 前処理: リサイズ + 正規化
    img = cv2.resize(frame, (320, 320))
    input_data = np.expand_dims(img, axis=0).astype(np.uint8)

    # 推論実行
    interpreter.set_tensor(input_details[0]["index"], input_data)
    interpreter.invoke()

    # 結果取得
    boxes = interpreter.get_tensor(output_details[0]["index"])[0]
    classes = interpreter.get_tensor(output_details[1]["index"])[0]
    scores = interpreter.get_tensor(output_details[2]["index"])[0]

    # 検出結果を描画
    for i in range(len(scores)):
        if scores[i] > 0.5:
            y1,x1,y2,x2 = boxes[i]
            cv2.rectangle(frame,
                (int(x1*frame.shape[1]), int(y1*frame.shape[0])),
                (int(x2*frame.shape[1]), int(y2*frame.shape[0])),
                (0,255,0), 2)

    cv2.imshow("Detection", frame)
    if cv2.waitKey(1) & 0xFF == ord("q"):
        break

# Google Colabで実行（無料GPUを利用）
!pip install ultralytics

from ultralytics import YOLO

# 事前学習済みモデルをベースに転移学習
model = YOLO("yolov8n.pt")  # nano版（最軽量）

# 独自データセットで学習
results = model.train(
    data="my_dataset.yaml",  # 自作のデータセット定義
    epochs=50,
    imgsz=640,
    batch=16,
    device=0,  # GPU使用
)

# TFLite形式でエクスポート（Raspberry Pi用）
model.export(format="tflite", imgsz=320)
# => "best_saved_model/best_float32.tflite" が生成される

# my_dataset.yaml の例
train: ./data/train/images
val: ./data/val/images

names:
  0: good_product    # 良品
  1: defect_scratch  # キズ不良
  2: defect_dent     # ヘコミ不良

# ディレクトリ構成
# data/
#   train/
#     images/   <- 学習用画像（.jpg）
#     labels/   <- アノテーション（.txt）
#   val/
#     images/   <- 検証用画像
#     labels/   <- 検証用アノテーション