未来の世界は、人間と人間が協力する世界になるだろう。すべての革新は人間の視点から出発する必要がありますが、ヒューマン・インタラクションとコラボレーション・テクノロジーもユーザーのニーズに合わせて対応し、より簡単にタスクを遂行できるようにしなければなりません。現在、私たちはヒューマン・インタラクションからヒューマン・インタラクションへと邁進している段階にあります。ヒューマン・インタラクションは、人とコンピュータが入力と出力装置を通じてコミュニケーションをとる対話であり、人間とコンピュータが優位性を通じて補完し合い、共同で任務を遂行できるようにするために、人間とコンピュータの相互作用を基礎に構築される。

信号のやり取りから「心の理解」へ

偶然なのか意図的な設計なのか、人間のインタラクション方式の進化と進級は、乳幼児から少年、そして大人までのインタラクション方式を完璧に再現した。この発展過程は大きく4段階に分けることができる。

第1段階は、手目の協同インタラクションです。人間の乳幼児の段階では、まだ口を開けて話すことができていないときは、目で観察し、指で押して、自分の意図を表現したり、他の人とコミュニケーションを取ったりすることが習慣になっています。同様に、コンピュータインタラクションの初の大規模な応用は、グラフィックスインタフェースとマウス、キーボードの登場のおかげで、人々は指を通じてこのような入出力装置を操作し、コンピュータとコミュニケーションすることができる。この段階では、ヒューマン・インタラクションは基本的に無声である。

第2段階は言語と対話の対話に基づくものである。人間は話すことを覚えてから、絶えず勉強して、それからゆっくりと1つまたは複数の言語をマスターして、絶えず自分の聞いた読み書き能力を高めて、もっと多くの人ともっと流暢なコミュニケーションをします。同様に、音声認識技術と自然言語処理技術の急速な発展により、コンピュータも理解でき、ある程度人間の言語を理解することができ、それによって人間がいくつかの操作を完了するのを助けることができる。例えば、携帯電話の音声アシスタントソフトウェア、スマート自動車の車載音声アシスタント、家庭用スマートスピーカーなどの製品が広く使用されており、この技術の成功を証明している。

第3段階は、目つきなどの生体信号を導入、融合するインタラクション技術である。大人同士の暗黙の了解は言葉を必要としないことが多く、「空気を読む」ことでお互いの意図を理解することができる。このようなヒューマン・インタラクション技術のシンボル的な製品は2024年に発売されている--現実ARヘルメットを強化し、仮想現実VR技術と結合し、複数のカメラとセンサーを組み合わせて、眼球追跡を行い、それから眼球の特徴情報を抽出して眼球の変化を監視し、それによってヘルメット内の仮想画面上のカーソルの位置を制御し、最後にジェスチャー、音声などを結合し、画面での操作を完了します。人間の目の届く位置が通常思考しているものと関係していると仮定すると、この技術は目の動きを通じて、人間が注目して思考している部分を機械に推定させる可能性がある。

第4段階は、言葉ではない方法で情報を伝え、相手の意図を理解する「心得」という意識に基づく対話方式である。これは将来のヒューマン・インタラクション技術の発展の必須段階にもなるだろう。1つの可能な実現方法は脳機械インタフェースインタラクション技術であり、現在この技術は科学研究段階にある。海外のある会社は2024年、手術などで被験者の大脳皮質に直接電極を埋め込み、質の高い神経信号を得る初の製品「テレパシー」（Telepathy）を公開した。展示では、脳機械インタフェースデバイスの移植を受けた最初の患者は、このデバイスを利用してコンピュータカーソルを移動することができる。同時に、国内でも無線低侵襲半侵襲式脳機インターフェースを成功させ、2人の麻痺患者の頭蓋内に移植し、感覚運動脳区神経信号の採取に成功し、2人の患者に自主脳制御水を飲ませ、そして脳電気信号でコンピュータカーソルの移動を制御することに成功した研究チームがある。しかし、脳機械インタフェースのインプラントは頭蓋骨を取り替える必要があるため、この技術を採用するにはまだ一定の倫理と社会問題がある。

マンマシン協はマンマシンの相互作用エネルギー供給として

マンマシン協力は成熟したマンマシン相互作用手段の上に構築された知能技術であり、マンマシンが協力して任務を遂行する目的を達成するために、一般的には人間の一方向指揮機器とマンマシンの双方向協力の2つのモデルに分けることができる。

一方向指揮のヒューマンコラボレーションモデルは、人が伝統的なインタラクション方式で機械を指揮していくつかの繰り返し操作を行うことに依存することが多い。例えば、人間は簡単な命令や多ラウンド対話を通じて、マウスキーボードなどの伝統的なインタラクション手段に基づいて、大きなモデルを使用して機械に簡単な創作（テキスト、画像、ビデオの生成）を完成させる。しかし、一般のユーザーは機械にどのように命令を下すかに精通しておらず、機械に合わせるのに多くの時間を費やすことになる。大きなモデルの入力プロンプトを設定し、マシンが戻ってきたコンテンツを閲覧すると、人間の要求に達しない可能性があります。また、音声、目つき、表情などの信号を通じて、より先進的なヒューマン・インタラクション技術に基づいて、人間は携帯電話やスマートホーム機器を遠隔制御して操作を完了することができる。

マンマシンの双方向協力は音声などの多モード信号を採用することが多いが、一般的には指令が不明瞭で、機械が予想される指令効果を達成できないなどの問題がある。スマートスピーカーが理解できなかったり、認識エラーが発生したりして、人間が命令を繰り返している必要があるのに効果が上がらない場合があります。このモードでは、機械は人間の指令信号を受信した後、関連タスクを完了し、結果を人間に見せようとします。人間が満足していない場合は、任務が円満に完了したり、満足していないために放棄したり、継続しないまで、前述の相互作用プロセスを何度も繰り返す必要があります。

筆者は、まだ多くの難題に直面しているが、双方向協力の人的協力モデルは将来の発展方向であり、どのように人的協力の優位性を補完するかは、一方向指揮ではなく、新世代の人的協力技術が解決しなければならない難題であると考えている。

双方向協力の人的協力モデルは主に2つの能力に依存しており、1つは機械が人間の指令を本当に理解できるかどうかの能力であり、もう1つは機械が現地に適して人間と協力し、私たちが任務を遂行するのを助けることである。後者のモデルは、より高度なヒューマン・インタラクション技術を利用する必要があります。

人間が協力して共同で創作するシーンは、このモデルを理解するのに役立ちます。人間には天馬行空の巧みな考えがあり、機械は迅速に反復的な仕事を完成するのが上手だ。人と機械が文章、絵を共創するとき、人間は重要な段落、重要な部分で創造的な構想を行うことができ、機械は瞬間的に人間の意図を理解し、他の部分を完成させることができる。さらに、人間と機械が複数の複雑で一定のランダム性を含む意思決定タスクを共同で実行する場合、人間は重要な時間ノードで重要な情報を判断することができ、機械は人間の意図を理解した上で、短時間で他の操作を完了することができ、同時に意思決定におけるいくつかの抜け穴と誤りを検査し、意思決定後のフィードバック情報をまとめ、整理することもでき、後続の意思決定の参考にします。この過程では、一方向指揮モードのように、すべてのタスクを機械に投げて自主的に完成させるのではなく、機械を連れて協力してタスクを遂行する人間の考え方と重要なノードでの操作である。

ヒューマン・インタラクションをヒューマン・インタラクションにアップグレードする方法

ヒューマン・インタラクション技術はヒューマン・インタラクションの基礎的なコミュニケーション手段にすぎず、特定または汎用タスクにおける、人と機械の動作空間（すなわち、人と機械がそれぞれどのような動作をすることができるか）、人と機械の操作対象空間（すなわち、人と機械が行う動作の対象がどのようなものであるか）、および学習アルゴリズム（すなわち、機械が人の操作を正しく理解するアルゴリズム）を定義し、設計する必要がある。

例えば、人はキッチンのような特定の環境で、その動作空間、操作対象空間は、相対的に固定されており、達成できるタスクも限られています。この環境では、特定のタスクであれ、汎用的なオープンタスクであれ、人間の協力は規則正しいものでなければならない。私たちは機械が人間の制御可能な範疇から離れて、権限や規則を超えた操作を行うことを許さない。そのため、ロボットはアルゴリズムを学ぶ必要があり、人間の操作を本当に理解し、理解し、理解し、真の双方向協力モデルの人間機械協力を実現することができる。

さらに、より複雑なタスクには複数人、複数機協力技術が必要であり、これはタスクの分業、管理、実行に関連し、人間の人間機相互作用と協力システムの設計と理解を試みることになる。結局、ほとんどのタスクは人間によって開始される。

例えば、複雑なシステム監視タスクの中で、大量のサンプルデータに直面して、機械は人類が可能なアラートサンプルを迅速に選別するのを助けることができて、人類は選別したアラートサンプルに対して最後の決定をする必要があって、人類は甚だしきに至っては一部の簡単な決定作業を機械に任せて実行することができます。ただし、アラート・サンプルのフィルタ基準を定義する方法や、複数のマシンと複数のマシンの間で意思決定作業の割合を分割する方法は、タスク実行全体の正確さと人件費につながります。1つのタスクで複数の人が協力しても適切に完了できない場合、複数の人、複数のマシンが協力することはできますか。そのため、次世代のヒューマンマシンコラボレーション技術は、上述の動作空間、操作対象空間、学習アルゴリズムを定義するほか、複雑なタスクを自動的に理解し分業するための標準化されたプロセスを必要とし、タスクの実行精度を保証した上で人工への依存を減らす。

最後に、マンマシンの協力分業が完了しても、他の多くの課題に直面しています。第一に、機械は怠らないが、人間は常に合格した協力者であるとは限らない。では、機械は人間の協力の質を逆に監視し、必要なときに適切な補充を行う必要がありますか。第二に、機械が人間の仕事の一部または完全な代替が可能になると、人間は機械が自律的な知能を持ってから過ちを犯したり、悪をしたりするのを防ぐために十分な能力を持っているのだろうか。第三に、ヒューマン・マシンの協力はデータのプライバシー漏洩の問題にも関連し、特に複雑なタスクでは、機械がデータを受動的に漏洩するリスクがある。既存の研究では、大モデルを使用する過程で、データの「投入」が適切ではなく、敏感なデータ漏洩などの問題が発生することが証明されている。

これらの問題にはまだ答えがないが、私たちは足踏みするのではなく、発展の中で問題を解決しなければならない。私たちは、将来の人的インタラクションがよりスムーズで便利になると信じています！

（著者：辺凱帰、北京大学コンピュータ学院研究員）