ビデオトラッキング

さまざまな用途があり、その一部には、人間とコンピューターの相互作用、セキュリティと監視、ビデオ通信と圧縮、拡張現実、交通管制、医療画像[1] 、ビデオ編集などがある[2][3]。ビデオに含まれるデータの量が多いため、ビデオトラッキングは時間のかかるプロセスになる可能性がある。複雑さをさらに増すのは、追跡のためにオブジェクト認識技術を使用する必要がある可能性がある。それ自体が困難な問題である。

ビデオトラッキングの目的は、連続するビデオフレーム内のターゲットオブジェクトを関連付けることである。オブジェクトがフレームレートに比べて速く移動している場合、関連付けは特に難しい場合がある。問題の複雑さを増すもう1つの状況は、追跡対象のオブジェクトが時間の経過とともに方向を変える場合。これらの状況では、ビデオ追跡システムは通常、オブジェクトのさまざまな可能なモーションに対してターゲットの画像がどのように変化するかを説明するモーションモデルを採用している。

単純なモーションモデルの例は次のとおり。

• 平面オブジェクトを追跡する場合、モーションモデルはオブジェクトの画像（初期フレームなど）の2D変換（アフィン変換またはホモグラフィ）。
• ターゲットがリジッド3Dオブジェクトの場合、モーションモデルはその3D位置と方向に応じてそのアスペクトを定義する。
• ビデオ圧縮の場合、キーフレームはマクロブロックに分割される。モーションモデルはキーフレームの中断であり、各マクロブロックはモーションパラメータによって指定されたモーションベクトルによって変換される。
• 変形可能なオブジェクトの画像はメッシュで覆うことができ、オブジェクトの動きはメッシュのノードの位置によって定義される。

ビデオトラッキングを実行するために、アルゴリズムは連続するビデオフレームを分析し、フレーム間のターゲットの動きを出力する。さまざまなアルゴリズムがあり、それぞれに長所と短所がある。使用するアルゴリズムを選択するときは、使用目的を考慮することが重要。視覚追跡システムには、ターゲットの表現とローカリゼーション、およびフィルタリングとデータの関連付けという2つの主要なコンポーネントがある。

ターゲットの表現とローカリゼーションは、ほとんどがボトムアッププロセスです。これらのメソッドは、移動するオブジェクトを識別するためのさまざまなツールを提供する。ターゲットオブジェクトを正常に見つけて追跡することは、アルゴリズムに依存する。たとえば、ブロブトラッキングを使用すると、人のプロファイルが動的に変化するため、人の動きを特定するのに役立つ[6]。通常、これらのアルゴリズムの計算の複雑さは低い。以下は、いくつかの一般的なターゲット表現およびローカリゼーションアルゴリズムである。

• カーネルベースの追跡（平均シフト追跡[7] ）：類似性測度（バタチャリア距離）の最大化に基づく反復ローカリゼーション手順。
• 輪郭追跡：オブジェクト境界の検出（アクティブな輪郭や凝縮アルゴリズムなど）。輪郭追跡方法は、前のフレームから現在のフレームの新しい位置に初期化された初期輪郭を繰り返し展開する。輪郭追跡へのこのアプローチは、勾配降下法を使用して輪郭エネルギーを最小化することにより、輪郭を直接進化させる。

フィルタリングとデータの関連付けは、ほとんどがトップダウンプロセスであり、シーンまたはオブジェクトに関する事前情報の組み込み、オブジェクトダイナミクスの処理、さまざまな仮説の評価が含まれる。これらの方法により、障害物の背後を移動するオブジェクトの追跡など、より複雑なオブジェクトの相互作用とともに、複雑なオブジェクトの追跡が可能になる[8]。さらに、ビデオトラッカー（TVトラッカーまたはターゲットトラッカーとも呼ばれます）が堅固な基礎（陸上）ではなく、移動する船（沖合）に取り付けられている場合、複雑さが増す。ビデオトラッカーを安定させて、カメラシステムに必要なダイナミクスと帯域幅を減らす[9]。これらのアルゴリズムの計算の複雑さは通常、はるかに高くなる。以下は、いくつかの一般的なフィルタリングアルゴリズム。

• カルマンフィルター：ガウスノイズにさらされる線形関数に最適な再帰ベイズフィルター。これは、ノイズ（ランダムな変動）やその他の不正確さを含む、時間の経過とともに観測される一連の測定値を使用するアルゴリズムであり、単一の測定値のみに基づくものよりも正確になる傾向がある未知の変数の推定値を生成する[10]。
• 粒子フィルター：非線形および非ガウス過程の基礎となる状態空間分布をサンプリングするのに役立つ[11][12][13]。

• マッチムーブ
• モーションキャプチャ
• 動きの推定
• オプティカルフロー
• Swisトラック
• 単一粒子追跡
• Teknomo–Fernandezアルゴリズム

1. Peter Mountney, Danail Stoyanov; Guang-Zhong Yang (2010). “Three-Dimensional Tissue Deformation Recovery and Tracking: Introducing techniques based on laparoscopic or endoscopic images." IEEE Signal Processing Magazine. 2010 July. Volume: 27”. IEEE Signal Processing Magazine 27 (4): 14–24. doi:10.1109/MSP.2010.936728. http://spiral.imperial.ac.uk/bitstream/10044/1/53740/2/Three-Dimensional%20Tissue%20Deformation%20Recovery%20and%20Tracking_AuthorsVersion.pdf 2015年2月12日閲覧。.
2. Lyudmila Mihaylova, Paul Brasnett, Nishan Canagarajan and David Bull (2007). Object Tracking by Particle Filtering Techniques in Video Sequences; In: Advances and Challenges in Multisensor Data and Information. NATO Security Through Science Series, 8. Netherlands: IOS Press. pp. 260–268. ISBN 978-1-58603-727-7. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.60.8510&rep=rep1&type=pdf
3. Kato, H.; Billinghurst, M. (1999). “Marker tracking and HMD calibration for a video-based augmented reality conferencing system”. Proceedings 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR'99). pp. 85–94. doi:10.1109/IWAR.1999.803809. ISBN 0-7695-0359-4. http://www.hitl.washington.edu/research/artoolkit/Papers/IWAR99.kato.pdf
4. “High-speed Catching System (exhibited in National Museum of Emerging Science and Innovation since 2005)”. Ishikawa Watanabe Laboratory, University of Tokyo. 2015年2月12日閲覧。
5. “Basic Concept and Technical Terms”. Ishikawa Watanabe Laboratory, University of Tokyo. 2015年2月12日閲覧。
6. S. Kang; J. Paik; A. Koschan; B. Abidi; M. A. Abidi (2003). “Real-time video tracking using PTZ cameras”. Proc. SPIE 5132: 103–111. Bibcode: 2003SPIE.5132..103K. doi:10.1117/12.514945.
7. Comaniciu, D.; Ramesh, V.; Meer, P., "Real-time tracking of non-rigid objects using mean shift," Computer Vision and Pattern Recognition, 2000. Proceedings. IEEE Conference on, vol.2, no., pp. 142, 149 vol.2, 2000
8. Black, James, Tim Ellis, and Paul Rosin (2003). “A Novel Method for Video Tracking Performance Evaluation”. Joint IEEE Int. Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance: 125–132.
9. Gyro Stabilized Target Tracker for Off-shore Installation
10. M. Arulampalam; S. Maskell; N. Gordon; T. Clapp (2002). “A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking”. IEEE Transactions on Signal Processing 50 (2): 174. Bibcode: 2002ITSP...50..174A. doi:10.1109/78.978374.
11. Emilio Maggio; Andrea Cavallaro (2010). Video Tracking: Theory and Practice. 1. ISBN 9780132702348. https://books.google.com/?id=56LNfE2QGtYC&pg=PA50&dq=rhythms. "Video Tracking provides a comprehensive treatment of the fundamental aspects of algorithm and application development for the task of estimating, over time."
12. Karthik Chandrasekaran (2010). Parametric & Non-parametric Background Subtraction Model with Object Tracking for VENUS. 1. ISBN 9780549524892. https://books.google.com/?id=Ws0JThymM-EC. "Background subtraction is the process by which we segment moving regions in image sequences."
13. J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela and J.-C. Nebel (2010). "Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics". IEEE Transactions on Systems Man and Cybernetics – Part B', 40(4).

• –迷路を通過するボールを追跡するために使用されるCromemco Cyclops Cameraの興味深い歴史的な例（1980年）。