高性能なカメラではなく、
別のアーキテクチャ

フレームという単位が、そもそも適切ではない

「見る」機械のほとんどは、フレームカメラを使っています。何も変わっていなくても、決まった周期で全画素を読み出す方式です。

1枚のフレームに写るのは、平面に凍りついた一瞬です。奥行きを知るには、フレームがもう1枚要ります。三角測量のための別視点か、解くべき投影パターンの連続か。動きを知るにもフレームが要ります。前後のコマを比べて、はじめて「動いた」とわかるからです。フレーム方式がわかることは、すべてコマを積み重ねた推定であり、その1枚ごとに時間を使っています。速いか、正確か。両方は取れません。

さらに問題なのは、コマとコマのあいだ、システムが何も見ていないことです。接触、滑り、急停止といった肝心な出来事は、たいていその隙間で起こります。そしてこの方式では、精度はハードウェアで買うものになります。より精緻なレンズ、より高密度なセンサー、より多くの投影パターン。十分に投資すれば、高い精度と密度は得られます。ただしそれは、凍りついたシーンについてだけです。演算を速くしても、レンズを良くしても、この構造は変わりません。止まることのない世界を相手にするには、フレームという単位そのものが適切ではないのです。

Kortxの仕組み

ステレオのイベントセンサーが、変化だけを連続で捉えます。各画素は、担当する領域が変化した瞬間に、100万分の1秒の分解能で反応し、それ以外のときは沈黙しています。シャッターもクロックも、積み重ねるコマもありません。生物の視覚と同じ原理です。網膜は、時刻表ではなく変化に反応します。これを2台のステレオで構成することで、あらゆる変化がそのまま3次元で得られます。

走査レーザーが、信号そのものをつくり出します。変化にしか反応しないセンサーは、止まっている部品を見失います。そこでKortxは、シーンが変わるのを待ちません。自らシーンを変えます。レーザーが対象の上に点を書き込み、センサーがその着弾を瞬時に捉える。動いていても止まっていても、Kortxは3次元の位置を実測します。パターンから推定した奥行きではなく、空間に実際に刻まれた点です。他の方式は、アルゴリズムに照合の手がかりを与えるために粗いドットを投影し、そこから奥行きを推定します。しかも推定できるのは、形状が手がかりになる場所だけです。Kortxは、距離そのものを測ります。

精度をつくるのは、ソフトウェアです。精度は、精密に組み上げた光学系ではなくソフトウェアに宿ります。高価なレンズも、寸分の狂いもない実装も必要としません。精度をソフトウェアが引き受けるぶん、ハードウェアは現場で壊れず動きつづけること、つまり頑健性に専念できます。

1本のデータを、2通りに読む

データがフレームで区切られず流れつづけるため、Kortxは同じデータを2通りに読めます。数ミリ秒分を読めば、動いている部品を追いかけ、動作中のロボットをそのまま誘導できます。同じデータを1秒ほど読めば、高密度で高精度な3D点群になり、その部品の欠陥検査や寸法計測に使えます。

違いは、データをどれだけの長さ読むか。それだけです。数十ミリ秒あれば、部品がいまどこにあるかを知るには十分です。点は粗いものの、動いているロボットを操るのに必要な鮮度があります。同じデータを1秒ほど積み上げれば、寸法を測り、検査できるだけの密度をもった部品モデルになります。同じデータを、2つの時間窓で見ているにすぎません。

積み上げても像がぼやけないのは、トラッキングが効いているからです。Kortxは部品の位置を常に把握しているため、部品が動いている最中でも、新しい計測点は部品上の正しい場所に着地します。モデルは世界座標ではなく部品自身の座標系で組み上がるので、動きがそのままブレになりません。

速さか精度かという二択は、ここで消えます。1つのシステムが、1回のパスで両方をこなします。

フィジカルAIに足りていない「物理」の層

いまのモデルは、物理世界を映像から学びます。ここでもフレームであり、しかも平面に潰されています。映像は何が起きたかを見せますが、それは平面的で、コマ単位です。接触、面のたわみ、落下の速さ。物理はそこから抜け落ちています。フレームが捨ててしまう隙間にこそ、物理は宿っているからです。

Kortxが記録するのは、まさにその層です。何が、いつ、どう動いたかを、3次元の実測値で。ロボットをいま動かすためのデータが、そのままモデルに物理を教えます。

自動化できる範囲が、広がりはじめている

レーザーとイベントによる3Dセンシング、ストリーミングデータ形式、そしてそれを支えるハードウェア・ソフトウェア構成にわたり、特許18件（うち14件が登録済み）。

この技術は、文章で読むより、実際に動いているところをご覧いただくほうが早く伝わります。ぜひ一度、実機をお見せさせてください。