具現化知能タスク計画実習プラットフォーム RAI-P4

センサ構成

音声・視覚・運動フィードバックなど、具現化タスク計画に必要なマルチモーダル入力を網羅しています。

• AI音声インタラクション用マイクアレイ
• ビジョンパンチルトカメラモジュール
• 姿勢推定IMUセンサー
• マニピュレータカメラモジュール

コントローラ構成

AIエッジボードとオープンI/Oを備え、LLM・ビジョン推論とマニピュレータ／周辺機器制御を同時に実現し、ソフト・ハードの連携を高めます。

ソフトウェア構成

UbuntuとROS2（roscore、RViz、MoveIt）に加え、Jupyter、VS Code、Python 3.9 をプリインストール。起動直後からアルゴリズム実演や授業が行えます。

OpenCV、YOLO、LLM SDK、MoveIt など主要なAI／ロボットエコシステムと互換性があり、授業と研究の両方を後押しします。

ロボットアーム制御基礎

• ロボットアーム運動学制御：推奨4コマ｜4自由度アームの順・逆運動学と関節軌道計画を構築。
• ロボットアーム直線補間制御：推奨2コマ｜エンドエフェクタの直線軌道を生成し、速度・加速度プロファイルを調整。
• ロボットアーム円弧補間制御：推奨2コマ｜空間円弧を生成し、姿勢制御を維持したまま軌跡を実行。
• ロボットアームの積み下ろし搬送：推奨4コマ｜座標系キャリブレーションと把持戦略を組み合わせ、多点搬送を計画。
• 幾何図形の描画：推奨4コマ｜軌道生成を応用し、平面図形を描画。

センサ計測と制御

• IMUデータ取得：推奨2コマ｜姿勢センサーのデータを取得し、姿勢推定とフィルタリングを実施。
• ジェスチャ制御アーム：推奨2コマ｜IMU入力を用いてマニピュレータを体感操作。

コンピュータビジョン基礎（OpenCV）

• カラー認識：推奨2コマ｜色空間変換と領域分割で対象物を識別。
• 形状認識：推奨2コマ｜輪郭抽出と幾何特徴マッチングで形状を分類。

AIビジョン（YOLO）

• YOLO ビジョンデプロイ：推奨2コマ｜組込みボード上でYOLOをリアルタイム推論。
• 顔検出：推奨2コマ｜事前学習モデルで顔を検出し、バウンディングボックスを出力。
• 顔追跡：推奨2コマ｜パンチルト連携で対象を追跡。
• データセットアノテーション：推奨2コマ｜検出データセットのラベリングとフォーマット変換を習得。
• モデル学習とデプロイ：推奨2コマ｜再学習・量子化・デプロイの手順を実践。
• ワークピース検出：推奨2コマ｜対象用途に合わせた検出フローを構築し、分類・位置決めを実現。

AIビジョン（通義千問マルチモーダル）

• 通義千問マルチモーダル API デプロイ：推奨2コマ｜通義千問APIを呼び出し、画像理解とテキスト生成を実装。
• 果物検出とマーキング：推奨2コマ｜通義千問を用いて果物を認識し、意味ラベルを生成。

大規模言語モデル応用（音声対話）

• ASRデプロイ：推奨2コマ｜通義千問ASRを構築し、音声入力を解析。
• LLM意味理解デプロイ：推奨2コマ｜DeepSeekを用いて意図理解とタスク計画ロジックを実装。
• TTSデプロイ：推奨2コマ｜火山引擎TTSを統合し自然な音声応答を生成。
• エンドツーエンド音声対話：推奨2コマ｜ASR/LLM/TTSを連携させた音声対話ループを構築。
• Function-Call 音声計算：推奨2コマ｜LLMのFunction-Callで音声電卓を実装。
• Function-Call 音声音楽再生：推奨2コマ｜音声コマンドで楽曲検索と再生を制御。
• Function-Call パンチルト計画：推奨4コマ｜音声指示でパンチルト追跡を実行し、対象探索を完結。
• Function-Call マニピュレータ計画：推奨4コマ｜音声指示でマニピュレータの視覚位置決めと搬送を行う。

ロボットシステム統合

• Socket通信：推奨2コマ｜ロボットシステム間のSocket通信チャネルを構築し、指令を交換。
• ビジョン追従制御：推奨4コマ｜ビジョンデータをロボット座標系にマッピングし、動的追従を達成。
• ビジョンとマニピュレータの座標変換：推奨2コマ｜ハンドアイキャリブレーションを完成し、ピクセルを姿勢に変換。
• ビジョン仕分け搬送：推奨4コマ｜認識・計画・実行を組み合わせ、仕分け搬送を完了。

ROS（Robot Operating System）

• ROS2プロジェクトの迅速起動：推奨2コマ｜ROS2ワークスペースの作成・ビルド・実行手順を習得。
• ROS2パッケージ構築と移植：推奨2コマ｜パッケージ作成、依存管理、移植デプロイを実施。
• MoveIt設定：推奨2コマ｜MoveItシーン構成、衝突モデル導入、動作検証を実践。
• 4自由度アームのMoveIt/RVizシミュレーション：推奨2コマ｜RViz上で4自由度アームを制御し、軌跡を検証。

組込みシステム開発

• Ubuntuファイルシステム入門：推奨1コマ｜主要ディレクトリ構造とファイル操作コマンドを学習。
• エディタ習熟（vi / nano）：推奨1コマ｜ターミナルエディタの基本操作と設定を習得。
• リモート接続環境構築（SSH / PuTTY）：推奨2コマ｜リモート開発環境を整備し、多拠点協働を支援。
• LinuxファイルIOプログラミング：推奨2コマ｜ファイル読み書きと例外処理を実装し、デバイス連携の基礎を学ぶ。
• シリアル通信：推奨2コマ｜シリアル通信の送受信とプロトコル設計を実践。
• プロセス／スレッド管理：推奨2コマ｜Linuxのプロセス・スレッドモデルを理解し、サンプルを作成。
• UI設計：推奨2コマ｜Python/Qtなどを用いて簡易HMIを構築。