人類の夢、ついに実現!?ロボットが人間の“行動”を学ぶ未来

人類が長年夢見てきたロボットの操縦技術が、次第に現実のものとなりつつある。

電気通信大学の工藤俊亮准教授が率いる研究チームは、ロボット操縦の夢の実現に向けて果敢に挑戦を続けている。

人間がロボットに作業を見せるだけで、ロボットがそれを理解し、真に人間の動作を再現できる技術の確立を目指しているのだ。

料理の手順、折り紙の折り方、紐の結び方など、これまで人間にしかできなかった高度な作業を、ロボットが見真似学習で身につけられる日は果たして来るのだろうか。

先人たちが夢見た自由自在に操作できるロボットがいつの日か我々の日常に現れる時、人類とロボットの関係は一体どう変わっていくのか。

研究の最前線に迫り、人類の夢がどこまで実現されつつあるのか、未来への展望を探る。

もはやプログラミングは不要!?人間の“作業の見真似”に挑戦するロボット研究の最前線

―――近年、ロボット技術はめざましい進化を遂げてきました。現在の進捗や私たちの生活にどう影響を及ぼすのか、まずは読者の皆様にロボット技術の概要を教えてください。

私は情報科学系の出身であり、現在も情報学専攻に所属しています。
情報システムは、もともと弾道計算のためのコンピューターから発展してきましたが、コンピューターどうしがネットワークで繋がることで、世界は劇的に変化を遂げました。

今後は、情報システムが実際の生活空間に物理的なロボットという形で関わってくることで、かつてコンピューターどうしが繋がった時と同様の大きな変化が起きると考えられています。
情報システムが生活空間に入ってくることで、ロボットが我々の日常生活の中に浸透してくることが期待されているのです。

これまでにも移動ロボットの研究開発が進み、倉庫内の物流や自動運転、ドローン配送、警備ロボットなどが実用化されてきました。
一方で、工場内での組立て、溶接など、移動ではなく作業そのものを行うロボットもさまざまな場所で活躍しています。

私たちが目指すのは、移動ではなく作業ができて、しかも工場ではなく、人々の日常生活の場で活躍できるロボット技術の確立です。

そのために重要なのは、人間の意図や行動を理解し、環境を認識することによって、賢く行動できるようにすることです。
ロボットの研究というと、メカを作るイメージを持つ方もいらっしゃるかもしれませんが、実は、私の研究室ではロボット本体を作ることはあまりしていません。
私の研究の中心的課題は、作業の理解、つまり何をどのような手順で行うかを把握することと、それをロボットにどう指示するかにあります。


もちろん、日常生活に必要な作業には、柔軟物の扱いや道具の使用など、ロボットにとって難しい要素が多く含まれるため、作業の理解に加えて、柔軟物をどう制御するか、道具をどう使用するかといった課題も存在します。


工場で使うロボットであれば、専用のロボットハンドや機械を製作して動作させることが可能です。
しかし、家庭環境では、多数の専用装置を設置するのは現実的ではありません。
一つのロボットが色々な道具を使いながら数多くの作業を行えるようにする必要があります。
理想を言えば、人間が日常的に使っている道具をそのまま使えることが一番良いのですが、これは技術的にまだまだ難しい課題です。

話は少しそれますが、実はこの課題は家庭だけでなく、大きな災害の被災地のような危険な場所でも重要になってきます。
被災地のような危険な場所では、人間に代わってロボットに作業をさせることで、人間が危険な場所に立ち入らなくても済むようにすることができます。
その際、ゼロから自動ロボットを開発するのでは時間もコストもかかるので、人間がそれまで使っていた機械にロボットが乗り込んで操縦する方が合理的なのではないかという考え方が出てきました。

しかしながら、実際のところ、人間用の機械をそのままロボットが使うことは簡単ではありません。
そのため、ロボット技術の業界では、ロボットが人間の動作をいかに模倣できるかといった観点から多くの研究が行われるようになりました。
例えばアメリカのDARPA主催の「ロボティクスチャレンジ」では、人型ロボットが実車に乗り込み、目的地まで移動した上でドアを開けてバルブを操作するなど、様々な作業を行うコンテストが開かれました。

―――ありがとうございます。その上で、工藤先生の研究概要や研究テーマを教えてください。

日常環境でロボットが活躍するには、できる限り人間が使うモノや道具を使えるようにすることが重要です。
現在、私たちの研究室ではこの点を重要な研究のポイントとして位置づけ、研究を進めています。

私の研究室のロボットは手や目を備えており、様々な作業を行うことができます。


上の三つは紐や紙、布などの柔軟物の作業を、下の三つは料理や生活支援といったタスクを実行しています。中でも現在メインに扱っているのは、柔軟物の操作と料理です。

また、こういった作業内容とは別の観点として、ロボットにこれらの複雑な作業の手順をどのように教えるかということも重要になってきます。それについて私が関心を持っているのが「見まね学習」です。

家庭環境で活用するロボットを考えた場合、すべてのユーザーがプログラミングの技術を持っているわけではないですから、プログラミングしてロボットを動かすことを前提とするのは現実的ではありません。
工場ならエンジニアを雇えばよいですが、ほとんどの家庭では難しいでしょう。

そこで、人間がロボットの前でやってほしい作業を実演して見せれば、ロボットがそれを見て真似してくれるようになることが、理想だと考えています。これが見まね学習です。

あたかも人間が人間に作業を教えるように、ロボットに見本を見せて真似させる仕組みの実現を目指して、研究を進めています。

ロボット開発の最前線！人間の“見真似学習”をいかに再現するか、研究者たちが注ぐ絶え間ない努力

―――ロボットに人間の動作を理解させ、模倣させるためにはどのような技術が必要なのでしょうか？ロボット技術をより発展させるために、注目すべき技術的な課題は何ですか？

柔軟物を扱う作業を例にして考えてみましょう。
固い部品を組み立てる作業であれば、ロボットの動きをあらかじめ精密に決めておいて、それを繰り返すことでうまく作業をさせることができます。
しかし柔軟物は形が変化しやすいため、そのやり方ではうまくいきません。
たとえロボットの動きが同じでも、ちょっとした環境の違いで紐などの柔軟物は、その形が大きく変わってしまうからです。

そこでちょっと視点を変えて、人間に対して柔軟物の扱い方を教えるときはどうするかを考えてみます。
例えば、折り紙や紐結び、風呂敷の包み方などの解説本を見ると、矢印や点線を使って手順が描かれています。
そこで示されているのは、「この穴をこちら側から通す」といったレベルの、比較的大雑把な指示です。

しかし、このような「大雑把な指示」というのは、ちょっとやそっと紐や布の状態が変化しても有効性を失わないという意味で、実は作業の本質をとらえたものだと見ることができます。
ですから、ロボットに柔軟物の操作を指示するときにも、このような「大雑把な指示」でロボットが動けるようにすることが有効なのではないかと考えるようになりました。

例えば、折り紙の折り方をロボットに教える場合、たんに実演している人間の手の動きを正確に記録するのではなく、「谷折りをしている」「この対角線で折っている」といったように、少しメタな立場から「どんな作業をしているか」を認識させます。
その認識に基づいて、ロボットが例えば「谷折り」を実行するのです。


そもそもロボットは人間と手の構造が異なるため、仮に人間の動きを完全に記録したとしても同じ動作を行うのは難しいものです。
そこで、同じ動作を目指すのではなく、「谷折りを対角線で行う」というような作業の本質さえ同じであれば良いと考えます。
人間と全く同じ動作をするのではなく、作業として同じことができていれば良いのです。

ですから、見まね学習では、人間が見せるお手本の中で何を重視し、何を無視するかを正しく設計することがことが重要になります。

例えば、テーブルの上で紐を動かしながら結び目を作っていく「卓上紐結び」では何に着目すれば良いかというと、「紐のどこをどこに動かすか」に着目します。
紐の形全体を同じにする必要はなく、どこを持ってどこに動かすかさえ同じにすれば「同じ結び目」を作ることができます。

そこで、動かす前と後の紐の形を比較して、紐のどこを持ってどこに動かしたかを認識するプログラムを作り、その動かし方をまねてロボットが動作するようにしました。


もちろん、「紐のどこを持つか」といっても、人間が手本を見せたときとロボットがそれを真似て実行しているときでは、紐の形が完全に同じにはならないので、「どこ」の情報として人間がつかんだ場所を正確に記録しても紐をきちんと掴むことはできません。
そこで、紐のどこを持つかという情報も、例えば「紐どうしが交差している点と紐の左端の真ん中あたり」というような捉え方をする必要があります。
このようにすることで、人間が紐を動かした位置が、今の紐の形であればどこに相当するのかという対応関係がわかるようになるため、紐の形が少し変わっても、その位置に動かせば同じ絡ませ方ができるようになるのです。

現段階では、見まね学習できるのは机上の紐結びに限られているのですが、次のステップとして、空中で行う紐結びを学習できるようにしたいと考えています。


引用：UEC Kudoh & Kimura Lab「紐のマニピュレーション」

今はその準備段階として、空中での紐結びに必要な動作要素を調べるために、見まねではなく、プログラミングによって紐結びの動作を実行する研究をしています。

できあがった動作を見ると、空中紐結びそのものはロボットにより実行可能であることが分かります。
一般的には、柔軟物操作はロボットでは実行が難しいといわれていますが、プログラムを作りこめば実際には不可能とはいえません。
しかし、作り込んだプログラムでは、紐の太さや材質が変わったりというような、ちょっとした変化でもすぐにうまく動かなくなってしまい、もう一度プログラムの作り込みをやり直さなければいけなくなります。
工場の生産ラインなどで、柔軟物を扱う作業がなかなか機械化されない理由の一つには、このような作り込みのコストが大きすぎて、結局人手で作業する方が現実的というケースもあると思います。

ですから、すべてを作り込むのではなく、柔軟物を扱うための基礎的な方法論のようなものを確立して、それに基づいて作業を設計すれば、ちょっとした変更に対しては、作り込みをやり直す必要がなく、もっと簡単に対処できるというようにしていくことが重要だと考えています。
そのために、柔軟物操作の基礎となるような汎用的な操作についても研究を進めています。

例えば、紐を動かすときに、紐にねじれが溜まっていると、そのせいで余計な変形が起こって思った形にならない場合があります。
そこで、紐のねじれ具合を推定して、ねじれが溜まらないように紐を回転させながら動かす方法を作りました。
これなどは、紐操作の基礎となるような動きの一つといえます。

研究室では、このような基本的な要素動作を組み合わせて、より高度な紐結びを実現できるよう取り組んでいます。

折り紙の作業に関しても、見まね学習の考え方は同じですが、何が見るべき本質的な情報かは紐とは違ってきます。


数学の理論の中に、折り紙公理と呼ばれるものがあって、その内容は「折り紙の折り線の決め方は7種類しかない」というものです。それを利用して、作業前後の形状から「どのような折り方がされたか」を認識するシステムを構築しました。
「この角とこの角が重なるように谷折りをする」といったレベルでロボットが折り方を認識して、実行するのです。
このシステムを使えば、ロボットがお手本として示された折り方を真似て折ることが可能となります。

しかし、この初期の試みではまだ細かい制御が追いつかず、大まかには同じ折り方をしていても、綺麗に折れていないという課題が出てきました。
そこで、綺麗に折るための基礎的な動作を研究することにしました。

例えば、谷折りの際に折り目がずれてしまう場合、カメラで折り目のずれを検出し、頂点を合わせるように調整する仕組みを作りました。


また、谷折りだけで済むような単純な折り方ならできたとしても、鶴を折るような発展的な折り方になると、袋折りなどの新しい技術が必要になるため、現在は個々の折り曲げの制御方法の確立に取り組んでいます。

ロボットが料理する日は遠くない!?“料理ロボット”の神業に迫る!

―――人の動きを模倣するロボットが日常生活に与えるインパクトについて、どのような見解がありますか？折り紙や紐結びの他に、どのような研究が進められているのでしょうか？

料理ロボットの研究も進めています。


料理の場合、作業を真似するというよりも、レシピを読んで料理を作るというイメージですが、レシピは人間が読むものであり、ロボットが読んで作業をするには分かりにくい部分があります。

例えば、レシピに「オリーブオイル大さじ2」と書いてあっても、多くの場合、大さじ2をどうするかは記されていません。実際には、大さじ2を「測りとって」、それを「ボウルに入れる」というような作業があるわけですが、人間はそんなことはいちいち書かれていなくてもわかるので、レシピでは省略されます。
そこで、ロボットで実行するには、「オリーブオイル小さじ1を測り、ボウルに入れる」といった、より具体的な中間指示に落とし込む必要があります。

ただし、こうした自然言語処理は当研究室の専門外なので、この部分はほとんど手をつけていません。他分野との連携が必要になってくる部分です。

我々が研究しているのは、それに続く部分です。
レシピをロボット用の中間指示に変換したとしても、その指示をロボットが実行するにはさらなる工夫が求められます。
例えば「ビネガー大さじ1を測りとる」という指示に対し、ロボットが実際に動作するための制御指令が必要です。

例えばビネガーと塩では、液体と粉末という違いがあるので、測りとり方が当然異なります。このように、食材の性質によって、「測る」という言葉は同じでも、実際の動作は変わってきます。
液体ならすくうだけでよいが、粉ならすくった後で擦り切るなど、食材に適した測り取り方を知識としてロボットに持たせることが必要です。
そういったことをいちいちプログラムしていたのでは作り込みになってしまうので、「測る」とだけ指示すれば、対象に応じた適切な測り方を自動的に選ぶようにしたいわけです。

別な例として、包丁で切るという動作でも、様々な切り方があります。
最も単純な垂直にまっすぐ切るという動作でも、食材の大きさや固さによって、包丁の動かし方や力の加え方は変化させなければいけません。こういった食材の性質に応じて動きや力の入れ方を自動的に調整する手法なども研究しています。


引用：UEC Kudoh & Kimura Lab「料理ロボット」

作業手順だけでなく、中間動作にも対応が求められます。
レシピには「Aという食材を切る」の後すぐに「Bという材料を切る」が書かれていますが、実際にはBを切る前に切り終わったAを片付ける動作が必要になります。これが中間動作です。
ロボットが自動でそうした状況を判断し、適切な中間動作を行えるようにすることも重要です。

このようなハイレベルの状況判断はもちろん重要な研究課題ですが、それだけでは料理はできません。
料理はいろいろな基本となる作業の組み合わせからできているので、そういう基本的な作業をロボットができるようになっていないと、そもそも料理を作ることができないのです。
そこで、当研究室では、食材の認識、切る、量る、混ぜる、皮をむく、塗る、注ぐなどの個々の基本動作の実装も積極的に行っています。

認識に関しては、ロボットの手先に取り付けたカメラでテーブル上の様子を三次元的に認識し、そこからまな板を削除して、残った部分を食材として認識します。
切る際は、切りやすいように食材の方向を調整し、高さを正確に計測してから切り込みます。
皮をむく際は、むかれた部分とむかれていない部分の色の違いを認識しながら行います。


引用：UEC Kudoh & Kimura Lab「料理ロボット」

もう少し高度な認識として、バラ積み食材のピッキングなども行なっています。
バラ積みされた唐揚げなどをつかむ作業は弁当工場などで必要な作業となりますが、実はこの課題は自動化が難しいとされています。
当研究室では、機械学習を用いてどこをどう掴めばよいかを判断し、食材のピッキングを行う研究も行なっています。

その他に、できるだけ人間が使う既存の調理器具を活用することも心がけています。
包丁、泡立て器、バターナイフ、マッシャー、ピーラーなど、持ち手の部分にアタッチメントを取り付けるなどの若干の改造は加えますが、基本的に人間が使う道具を使ってロボットに作業させています。

最後に、切るとか計るというような個々の作業ではなく、まとまった料理をしている例として、サンドイッチとサラダを作った実験をご紹介します。

サンドイッチ作りのポイントは、塗る作業をきちんと実現することにありました。
作業手順としては、まな板の上に置かれた食パンに、まずマーガリンを塗り、次に卵フィリングを塗ります。その上に食パンを重ね、最後に二つに切って完成です。
ここでは、マーガリンは薄く塗り、卵フィリングは厚く塗るというように、同じ「塗る」でも塗り方を使い分けています。

作業自体はそれほど複雑なものではありませんが、一応、サンドイッチという料理ができています。
ちなみに、英語では “cooking” は加熱調理を意味するらしく、海外でサンドイッチ作りのビデオを見せて “cooking robot” というと、「cookingしてないじゃないか」というツッコミが入ったりします。
日本語だと、加熱していなくても料理と呼んで違和感がないので、文化の違いを感じますね。
加熱調理については、当研究室ではまだ手をつけていないのですが、今後取り組んで行きたい課題です。


引用：UEC Kudoh & Kimura Lab「料理ロボット」

サラダ作りは、トマトを切ってボウルに入れ、調味料を混ぜてドレッシングを作り、それをかける一連の作業を行いました。
この実験では、先ほど説明した中間動作の検出と実行が課題でした。

切った後の食材を集めてボウルに入れたり、その後に汚れたまな板を拭き取ったりと、明示的な指示がなくても、必要な中間動作をロボットが自動的に判断し、実行します。

ちなみに、切った食材をボウルに移すときに、食材を包丁でかき集めてまな板の上に載せていますが、このまな板はちょうどよく壁が付いていて作業しやすくなっています。
ちょっとズルしているようにも思えるのですが、学生が100円ショップでこのまな板を見つけてきて、「人間用の道具だからこれを使っても文句ないですよね」といってきたので（やや渋々）OKしました。


引用：UEC Kudoh & Kimura Lab「料理ロボット」

このように、料理ロボットの研究では、見まね学習だけでなく、作業全体の計画や、個々の基本操作の実現など様々な課題に取り組んでいます。


私が目指しているような、一つのロボットがいろいろな道具を使いこなして、人間のように複雑な料理作業を実行するというのは、実現するとしても、まだまだずっと先のことになると思います。
それでは、それまで料理ロボットはまったく社会で活躍しないのかというと、そういうわけではなくて、段階的に社会に広がっていくと思います。

まずは、専用機のような単機能のロボットがいろいろなところで使われるようになるでしょう。
例えば、チャーハンを作るロボットが実際に飲食店で使われているというニュースを見たことがあります。このロボットは、従来は難しかったレベルの美味しいチャーハンを作れるのだそうです。
従来は、ロボットは主に工場で使われているものでしたが、次第に我々が利用するような飲食店でも使われるようになってきています。
このように、じわりじわりとですが、ロボットが活躍する範囲を広げているのです。
そのようにして、社会の中にロボットを受け入れる体制が少しずつできていくといいと思います。
こういったすぐに社会で役立つようなロボットの研究や開発と、私が行なっているような汎用的な作業が可能なロボットの実現を目指す基礎的な研究とは、どちらも必要なものです。

料理ロボットの将来の話としては、有名シェフが作った料理をそのままロボットが再現できるようになる未来もあるかもしれません。
ただし、最初に作った人の独創性と、単なる再現とではやはり価値が異なります。
新しい料理を生み出さず、ただ有名シェフの料理をそのまま再現するロボットでは、「ロボットのシェフ」にはなれないと思います。
独創性まで兼ね備えた真の「ロボットのシェフ」が将来実現するかどうかは、ちょっと予想できないですね。

ただ料理に限らず、熟練者の作品を再現できるロボットというのは、職人技術の継承という観点から注目されているという面もあります。
まったく新しいものを生み出すというよりも、長い経験によって得られた勘やコツのようなものをロボットが模倣できるようになれば、後継者問題などの解決に貢献できる可能性もあるわけです。

ロボット時代を乗り切れ！工藤教授が教える“新技術を恐れるな”の秘訣

―――5年後、10年後といった近い将来にロボット技術がどのように進化していくのか、工藤先生の見解を教えてください。

一般家庭にロボットが普及するのは、技術的な問題もさることながら、コストの面から見て簡単ではありません。

しかし、工場などの産業現場では、これまで人手に頼っていた柔軟物の作業工程や、例えば弁当工場での食材の盛り付けなどにおいて、ロボットが活躍する場面が増えてくるのではないかと考えられています。

実際、研究室でも家庭環境でのロボット活用を志向しつつも、企業からの技術相談や共同研究の依頼が寄せられることがあります。
ですから、工場でロボットを利用するために必要な技術と、一般家庭でロボットを利用するために必要な技術というのは、完全に別のものというわけでもなくて、共通する部分もたくさんあります。
そう考えると、まずは工場や店舗からロボット化が進み、その技術が成熟するにつれ、徐々に家庭にも広がっていくのかもしれません。

とはいえ、現時点で人型ロボットや上半身ロボットが一般家庭に普及するのは5年や10年程度では難しいでしょう。
現時点では、家庭で利用されているロボットといえば、コミュニケーション系のロボットかルンバのようなお掃除ロボットがほとんどでしょう。
家庭へのロボット浸透は、例えばコミュニケーションロボットに簡単な作業ができる程度のロボットアームが付くとか、お掃除ロボットにロボットアームが備わり大きなゴミを拾って捨てられるようになるとか、そういう形で徐々に進んでいくのかもしれません。

現在はスマートフォンでリモート操作できる家電がありますが、ロボットがいれば物理的なスイッチ操作もできます。
そうすれば、家電の側が対応していなくても、ロボットを介してリモート操作できるようになるわけです。
こういうちょっとした作業をするようなロボットが家庭で活躍する未来は、そう遠くないのではないでしょうか。

―――昨今のAIやロボット技術は、特に目覚ましいスピードで変化を遂げていると思います。こうした技術進化に対し、私たちはどのように向き合っていけば良いでしょうか？

ロボットや新しいテクノロジーを導入する際、初期段階では必ず不完全な点や誤作動があるものです。

そうした欠点があることを前提に受け入れ、たとえロボットがミスをしても、「しょうがないな」と面白がって使い続けてもらえれば、技術は着実に進化していきます。
実際に使われ始めると、ユーザーからの不満や事例が出てくるため、フィードバックを活かして開発が進みやすくなるのです。
逆に完璧を求めて使用を控えてしまうと、技術の進歩は止まってしまいます。

ユーザーにとっては気に入らない点があっても寛容になり、開発者側も不具合を改善しながら製品を磨き上げていくという、お互いの建設的な関係が不可欠だと思います。

開発者とユーザーの建設的な関係が、イノベーションを加速させる鍵となるでしょう。

―――最後に、読者の皆様にメッセージをお願いします。

日常生活の中に新しいテクノロジーとして物理的に我々に働きかける情報システムが、つまりそれがロボットな訳ですが、どんどん浸透していってほしいという願いがあります。
そして、読者の皆様には、そうした新しいものを嫌がらずに受け入れてもらいたいと強く思います。

現在の状態に特に不便を感じていない場合、わざわざ新しいものを使うのは面倒に思うかもしれません。確かに使い方を覚えなければいけなかったり、今までの行動パターンを変えなければいけなかったり、面倒といえば面倒です。でも、もしかしたら、今よりもっと楽しくなるかもしれない。

例えば私の母の話ですが、母は本を読むのが好きなのですが、機械は得意ではなく、電子書籍にはまったく興味を持っていませんでした。
しかし、歳をとるにつれて目が悪くなり、小さな文字が読みづらくなってきたため、Kindle(電子書籍リーダー)を勧めました。Kindleなら文字を自在に拡大できるため、母にとって読みやすい大きさに調整できます。
最初はページをめくる操作にも戸惑うぐらいの様子でしたが、文字を大きくできる魅力は強烈で、今では使い方もマスターしてKindleで快適に読書をしています。

このエピソードのように、新しいテクノロジーに最初は戸惑いを感じるかもしれませんが、使ってみると意外と便利だと気付くことがあります。

ですから、新しいものが出てきたら、まずは前向きに使ってみてほしいです。
もちろん、使ってみてダメなら、使うのをやめてかまいません。
まずは拒絶反応を示さずに、寛容な姿勢で受け入れてみていただきたいのです。

そうすれば、きっと新しいテクノロジーがもたらす恩恵に気付けるはずです。日常生活にテクノロジーが浸透し、皆様の暮らしが向上することを心から期待しています。