索尼研制出“SmartAR”集成技术

統合型 拡張現実感 技術 “SmartAR(スマートAR)”を開発

ソニーは、スマートフォン等のカメラで撮影した際、画面に通常の視覚では知ることができない情報や仮想的な物体などの付加情報を表示させることができる「拡張現実感（以下、「AR」) 技術」において、2次元バーコード等のマーカーを必要とせず(マーカーレス方式)、物体自体を高速認識し、カメラの動きに付加情報を高速追従させ、現実の3D空間上に広がりをもって表示できる、統合型AR技術“SmartAR(スマートAR)”を開発しました。

昨今、AR技術が注目され、広告や宣伝、ゲーム、情報検索等の様々な用途に応用される技術となっています。ソニーは、1994年に2次元バーコード認識（マーカー方式）によるARの研究を開始し、1998年にはパーソナルコンピューター VAIO 『PCG-C1』に「CyberCode(サイバーコード) ※2」を自動で認識するソフトウエアを搭載するなど、開発、事業化を進めてきました。

本技術“SmartAR”は、従来から研究開発を進めてきた、写真やポスターなど一般的な物体を認識する「物体認識技術」（特殊なマーカーを必要としないマーカーレス方式）と、“AIBO”や“QRIO”などのロボット開発で培ったソニー独自の「3D空間認識技術」を統合することで実現しました。“SmartAR”技術により、物体を高速に認識?追従し、仮想物体や付加情報（以下、「AR情報」）を単に表示するだけでなく、現実空間に広がりをもってAR情報を表現できるようになり、ダイナミックで大規模なARが体験可能となります。

さらに、スマートフォン等の画面上のAR情報に直接触れることで情報を取得?操作できる、“SmartAR”ならではの直感的でシームレスなユーザーインターフェースも実現しました 。

ソニーは今後、“SmartAR”技術の実証実験を行い、広告やゲームなどの様々なサービスやビジネス用途への展開による新たな価値の提供を目指します。

＜主な特長＞

(1) マーカーレス方式を可能にする物体認識

ARのための専用マーカーの無い画像でも、撮影した画像にAR情報を表示することが可能で、従来のマーカーを用いた画像認識技術（“CyberCode”）にも対応しています。日常に存在するポスターやメニューといった物に対しても対応できるため、多様なアプリケーションに展開が可能となります。

“SmartAR”の物体認識技術は、画像の一部分から得られる特徴（以下、「局所特徴」）とその位置関係を用いて物体を認識します。計算量の少ない独自の局所特徴の計算アルゴリズムと確率を用いたマッチング技術によって、照明変化や対象物の姿勢変化に強い、高速な認識が可能です。また、対象となる物体が画像中に比較的小さく写っていても、認識することができます。

(2) 高速追従性（“高速?ピッタリ”）

AR情報を画面上に素早く表示し、カメラの動きに高速追従することで、“高速?ピッタリ”と感じられる快適で自然なARを実現します。これは、物体認識技術に加え、画像の一部分から得られる特徴（局所特徴）を使った独自のマッチング技術と物体の形状変化にも対応した画像トラッキング技術を組み合わせる事で実現しています。

(3) 3D空間認識

現実空間の3D構造を認識し、それを仮想空間の物体と融合させることで、ダイナミックで大規模なARを実現します。例えば、ARのきっかけとなる対象画像を大きくはみ出すほどの巨大な仮想キャラクターなどの場合でも、カメラを動かすことで全体を把握することができます。また、仮想物体が現実の3Dの空間に、まさに存在するような動きを演出することもできます。

3D空間認識技術は、カメラが移動することによって観察される視差を利用して空間の形状とカメラの位置?姿勢を推定する技術がベースとなります。これを物体認識技術と組み合わせる事で、3次元の空間構造を認識し、記憶することが可能となります。

(4) ARインタラクション

スマートフォン等の画面上に表現されたAR情報に直接タッチすることで、直感的に情報を取得?操作できます。このARインタラクション技術を搭載して、付加情報や仮想物体を人が自然なかたちで使うことが可能な“SmartAR”ならではのシームレスなユーザーインターフェースを実現しました。