Skip to main content

RealSense

概要

http://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/realsense-overview.html

公開情報によると

  • RealSenseは奥行きが検出できるカメラモジュール
  • 通常の1080pカメラに加え、2機のステレオ赤外線カメラと、赤外線レーザープロジェクターが内蔵されており、赤外線で特定のパターンをホログラフィックフィルター経由で照射、パターンと左右のカメラの差分を検出することによって対象物の形状や距離を検出可能
  • RealSenseには3種類ある（F200, R200, SR300）が、ドローンやロボットに使えるのはR200のみ
  • F200とSR300はノートパソコンやタブレットへの組み込み用で、検出範囲が数十センチと短い
  • R200は屋内で0.7m~3.5m、屋外で10m
  • 内蔵されている通常カメラと赤外線カメラの画像を組み合わせることで、3Dスキャンとテクスチャの同時取得が可能

R200スペック

  • アクティブステレオIR
  • レーザーテクスチャ照射
  • DepthMapは90fps
  • Scene PerceptionにはOpen CL 1.2必須
  • 内蔵ASICは最低限の処理のみ
  • USB3.0

Windows版SDK要件

以下、Getting Started PDFより

ハードウエア要件

  • 4th Gen (Haswell) Intel Core processor
  • 8GB空きHDD

OS

Windows 8.1 OS 64-bit

言語

  • C++
  • JavaScript
  • C# (Microsoft .Net 4.0 Framework)
  • Java (JDK 1.7.0_11 or later)
  • Processing 2.1.2 or later

IDE

  • Microsoft Visual Studio C++ 2010-2013 service pack 1以降
  • Unity PRO 4.1.0以降(ゲーム開発)

Javascript開発用ブラウザ

  • Microsoft Internet Explorer 10.0.13
  • Google Chrome 33.0.1750.146
  • Mozilla Firefox 27.0.1

SDKのR200対応機能

  • データストリーム関連
    • カラー画像(YUY2)
    • 奥行きデータ
    • IR(左右)画像
    • 奥行き情報をカラー画像の座標系に変換する為のUVマッピング機能
  • 3D Scan
    • 顔や頭部、体の3DスキャンのみGolden
    • それ以外の機能はアルファ
  • Scene Perception
    • IMUを搭載したプラットフォーム用に、カメラの前方2立方メートルのキューブ内を奥行き、カラー、IMU情報を元に6DoFでカメラの姿勢を検出し、AR化
  • Enhanced Photography
  • Face Tracking
    • バグ多し
  • Person Tracking
    • プレビューレベル
  • Object Recognition
    • プレビューレベル

Driver

Linux/ROSライブラリ

現時点(2016-04)で開発に使える組み込みボード

優位性

  • シングルユニットであり、小型軽量であること
  • 競合となるステレオカメラ等に比べ、安価

現時点での課題

  • RealSenseカメラ単体では素の画像を取得することしかできず、ロボット制御に必要な座標データ（Point Cloud等）に変換するためには画像処理能力の高いCPU/GPUが必要
  • 現時点での画像処理ライブラリ・SDKはWindows版のみ
  • Linux版のlibrealsenseは素の画像ストリームのみ取得可能
  • USB3.0が必須
  • 現時点でロボットに搭載する場合には、OpenCV等のライブラリを使って通常のステレオカメラと同じような処理を行うので、あまりメリットがない?

衝突回避、SLAM用途での競合

Aero

※ Intelは先日、上記の問題を解決するドローン向け開発ボード、Aeroを発表。PC Worldによると発売は2016年後半になる予定とのこと。