オムニタッチ
目次:
コンピューティングにおける大きな革命の 1 つは、タッチ スクリーンです。彼らは、特別なポインターまたは指を使って、コンピューターと対話する新しい方法をもたらしました。 2011 年、Microsoft は OmniTouch の導入をさらに推し進めました。これは、あらゆる表面をタッチ可能にするプロジェクトです。基本的な考え方は、カメラとプロジェクター デバイスを肩に取り付け、画面を投影してユーザーのキーストロークを読み取ることです。可能性は無限大で、手、壁、シート、またはその他の表面をタッチスクリーンに変えることができます.
OmniTouch の仕組み: キーストロークの認識
OmniTouch プロジェクトの最も重要な部分は、ユーザーがどこに触れているかを知るために、指の位置と深さを追跡することです。このために、プロトタイプでは深度に敏感な PrimeSense カメラが使用されました。色を測定する通常のカメラとは異なり、PrimeSense はカメラのレンズから画像内の各点までの距離を測定します。 1mm の精度と 20cm の最小範囲は、プロジェクトで最初に使用された Kinect カメラよりも優れている主な利点です。
指の位置を特定するために、OmniTouch は最初に深度マップ (A) をキャプチャします。次に、傾斜マップが計算されます>"
(B) では、マップが色に変換されているのがわかります。赤は、X または Y 軸の正の方向 (上または右) の深さが少ないことを意味し、青は、深さが深いことを意味します。 X 軸または Y 軸の負の方向 (下または左) の深さが小さくなります。紫色は深さの変化がほとんどないことを意味します。
このマップを使用して、ソフトウェアは、カメラに近づいてから留まり、最後に遠ざかる面である垂直の円筒形のセクションを探します。横から横に走らせたら指だったなんて、うわー。カラー マップで、同じ縦軸上にある赤いセクション、次に紫のセクション、次に青いセクションを探します。
可能性のある候補は高さでフィルタリングされ、指ではないものを除外します (たとえば、高さ 2 mm の円柱は指として認識できないため、破棄されます)。図 (C) では、識別されたすべての指のセクションを見ることができます。
これが完了すると、すべての垂直セクションがまとめられて指が形成されます (図 D)。短すぎる可能性のある指は破棄され、ユーザーは右利きであるため、指の左端が先端であると想定されます。これで、ユーザーが指している場所がわかりました。
さて、指が表面に触れているかどうかをどうやって知るのでしょうか?フラッドフィルと呼んでいますが、絵の具のバケツを塗りつぶすようなものと言えば、より身近になります。
テクニックは簡単です。指の中点を見つけて、13 mm の許容誤差で上下左右にピクセルを塗りつぶし始めます。つまり、ピクセルの深さと指の中点の深さとの差が 13 mm 未満の場合にのみピクセルを塗りつぶします。
このように、指が何も触れていない場合、指に対応するピクセルのみが塗りつぶされます。手を触れていれば、もっとたくさん満たされます。画像では、指が空中にある場合 (左) または手に触れている場合 (右) に何が起こるかを確認できます。塗りつぶされたピクセルの一定のマージンを超えると、ソフトウェアは対応する場所でタップまたはクリックを送信します。
OmniTouch の仕組み: 画像の投影
指の認識が中心ですが、OmniTouch はあらゆる表面に画像を投影する必要があることも忘れてはなりません。デプスチャンバーもこれに使用されます。画像内のすべての表面は、画像内の相互接続点を非常に効率的に検出する連結成分アルゴリズムを使用して検出されます。
手よりも小さい表面が破棄されたら、画像を投影するための中心または基準点を修正します。この点は、表面の向きを検出するのに役立ち、したがって、歪んで見えない画像を作成することができます.
次に難しいのは、面の大きさの検出です。表面のエッジは十分に認識できないため、OmniTouch は構成点の平均と標準偏差を使用して、手、腕、ノート、壁、テーブルの 5 つの点に分類します。それぞれに特定のサイズと画像の中心があります。
ソフトウェアは、すべてのデータを使用して投影する画像を生成し、表面に正しく表示されるように歪ませます。次に、画像をプロジェクタに渡します。プロジェクタは、画像がどのような表面であっても表示します。
多くの可能性を秘めた精密技術
テストでは、OmniTouch が非常に正確な技術であることが証明されました。クリックの認識精度は96.5%と、試作品とは思えないほど良い数字です。インターフェイスのサイズについては、直径2cmのボタンで95%のキーストロークが認識されます。
この最大サイズは、手に投影されるインターフェイスに必要です。テーブルや壁などの他の表面では、従来のタッチ スクリーンのボタンに推奨されるサイズとほぼ同じ 15 mm に縮小できます。
"可能性に関しては無限大です。プロトタイプでは、絵を描くための書見台が作成されました。壁に描いて、左手で色を選びました。蛍光ペンとしても使用>"
しかし、最も興味深いのは、ドキュメントの最後に記載されている内容です。2 次元のサーフェスを考慮するのをやめると、OmniTouch が開く可能性があり、体の形を利用して方法を変更することができます。私たちはコンピュータと対話します。
"OmniTouch は、その技術と可能性の両方において、本当にエキサイティングなプロジェクトです。 Microsoft>によると、特別な未来で彼についてすぐに再び話します"
ザタカ Windows |マイクロソフトによる未来 詳細情報 | OmniTouch
