完全自動運転車はデータアノテーションで実現できるのか?

完全自動運転車はデータアノテーションで実現できるのか?

AIとデータアノテーションの最も一般的なユースケースの1つは自律走行車です。自律走行車(または自動運転車)のアイデアは、エンターテインメントや実際の交通機関においても、常に魅力的な利用分野となっています。 かつては架空の話でしたが、情報技術の進化と長年培ってきた技術力により、自律走行が可能になりました。

 

 

自律走行車におけるAIとデータアノテーションの最も有名な実装例は、おそらくTesla Autopilotでしょう。これは、車が車線内でハンドル操作、加速、ブレーキを自動的に行い、運転の最も負担のかかる部分を支援するものです。 しかし、テスラオートパイロットは、欧米のいくつかの国でしか成功が確認されていません。ここでの本当の疑問は “テスラオートパイロットは、東南アジア諸国の混雑した道路で使用できるのか?

 

1. AI搭載の自律走行車におけるデータアノテーションの役割

人工知能(AI)がインダストリー4.0の代表的なトレンドであることは否定できません。大きな言葉や、日常生活におけるAIの「先見の明」的な見通しは実に魅力的ですが、実際にそれを実現することは見過ごされがちです。

実は、AIの実装の始まりは、何年も前に、架空の大ヒット映画でよく見かけるバーチャルアシスタントの基礎から始まっています。映画の中では、世界は機械と自動化によって支配されています。特に、車や船、飛行機などの乗り物は、AIによる制御システムによってうまく管理されています。AI開発の多面的な革新により、自律・自動運転車の成功をはじめ、上記の多くが現実のものとなりました。

1.1. 高精度のトレーニングデータ

自動運転車の重要な特徴は、ハードウェアとソフトウェアの2つです。自律走行車が正しく機能するためには、周囲の環境を感知し、人間の手を借りずに物体をナビゲートすることが求められます。ハードウェアは、道路上で車を走らせるためのものです。そのほか、自律走行車のハードウェアには、カメラや熱センサーなど、物や人の存在を検知できるものが搭載されています。その立脚点となるのが、機械学習のアルゴリズムを学習させたソフトウェアではないでしょうか。

ラベル付けされたデータセットは、前述の学習アルゴリズムの入力データとして重要な役割を果たします。これらのデータセットに注釈が付けられれば、AIソフトウェアの「学習能力」が豊かになり、したがって自動車の適応性も向上する。ラベル付けされたデータセットの精度が高ければ、アルゴリズムの性能は向上します。データアノテーションの精度が低いと、運転中にエラーが発生する可能性があり、非常に危険です。

1.2. エンドユーザーの利便性向上

一流の体験のためにお金を払わない人はいないでしょう。テスラを例にとってみましょう。テスラのモデルは、人々が無意識のうちに他の自律走行車ブランドに設定する基準、ベンチマークとなっています。デザインからオートパイロットによる自動運転の操作性まで、高級感だけでなく安全性も兼ね備えています。テスラがどのように車を設計するかは別の話です。お客様のために本当に大切なのは安全性です。すべてを “機械 “に任せるのは、最初は怖いかもしれませんが、テスラも多くの実験やAIソフトウェアのバージョンを通じてそれを保証しています。実際、テスラのオートパイロットは、欧米複数国の高速道路を容易に走行できることが証明されています。

 

 

テスラの自動運転モデルXが非常に混雑なベトナムの道路で敗北した映像を見たことがあるかもしれません。しかし、私たちは、自律走行車が最も必要とされるシナリオを振り返ってみる必要があります。 ここでの答えは、フリーウェイとハイウェイです。そして、テスラはこれらの道路でとてもうまくやれるのです。この場合のデータアノテーションの役割は、高品質のアノテーションされたデータセットを通じて、機械が高い頻度で訓練されることで、乗客の安全を確保することです。

 

2. 自律走行車の未来

自動運転がない状態から完全自動運転へと簡単に移行できるわけではありません。実際には、レベル3の「条件付き運転自動化」がやっとなのです。

  • レベル0(自動化運転なし): 車両は手動で制御されています。一部の機能は、問題が発生すると自動的に「ポップアップ」するように設計されています。
  • レベル1(運転支援)。ステアリングやアクセルの操作(クルーズコントロール)などの運転支援システムが単独で搭載されています。
  • レベル2:(部分的な自動運転):ADAS(ステアリングとアクセルの操作)に対応している車両です。ここでは、人間が運転席に座り、いつでも車をコントロールできるため、自動化は自動運転には及びません。
  • レベル3(条件付き自動運転):環境検知機能を持ち、加速して遅い車を追い越すなど、自分で判断することができます。しかし、人間によるオーバーライドが必要です。システムがタスクを実行できない場合、ドライバーは常に注意を怠らず、制御できるようにしておく必要があります。テスラのオートパイロットは、レベル3に認定されています。
  • レベル4(高度な自動運転):車両は、限られたエリア内で自動運転モードで動作できます。
  • レベル5(完全自動運転):人間の注意を必要としない車両です。ハンドルやアクセル・ブレーキのペダルもありません。。まだまだレベル5には程遠い状況です。

テスラのオートパイロットがレベル3に認定されたことで、私たちは完全な運転の自動化への道のりの半分しか進んでいません。しかし、私たちは個人的に、これらのレベル3車両の問題はAIシステムのトレーニングデータであると考えています。これまでに投入されたデータセットは非常に限られており、大海の一滴にしかすぎません。

AIシステムを学習させるには、データセットが膨大な量であることはもちろん、精度だけでなく高品質であることが求められるため、簡単なことではありません。

テスラをはじめとする自律走行車メーカーは、競争に打ち勝つために、かなりのスピードを求めています。このような企業は、自分たちでデータ処理を行うのではなく、データ処理の管理と実行を効率的に行うために、アウトソーシングベンダーの助けを求めることがよくあります。これらのベンダーは、データ収集とデータアノテーションの両方をサポートします。

データアノテーションを気にすることなく、自律的な市場に参加したいですか?LQAのコンサルティングを受けて、あなたのビジネスに最適なデータアノテーションツールを見つけてください。 専門家によるフルサポートをご希望の方は、今すぐお問い合わせください。

データラベリングの品質を確保するための基本的なガイド

データラベリングの品質を確保するための基本的なガイド

データのラベル付け品質の問題は、AI/MLコミュニティで大きな関心事となっています。このパズルを解くときに出くわす最も一般的な「原則」は、おそらく「Garbage in, garbage out」でしょう。

このように言うことで、私たちが強調したいのは、人工知能や機械学習の開発プロジェクトにおけるトレーニングデータとの基本的な法則です。AI/MLモデルに供給される質の悪い学習データセットは、操作に多くの誤りをもたらします。例えば、自律走行車のトレーニングデータは、その車が道路上で機能するかどうかの決め手になります。質の悪いトレーニングデータを使用すると、AIモデルが人間を物体と間違えたり、逆に物体を人間と間違えたりする可能性があります。いずれにしても、質の悪いトレーニングデータは事故のリスクを高めることになり、自律走行車メーカーにとっては最も避けたい事態となります。
高品質な学習データを得るためには、データ処理の過程でデータラベリングの品質保証を行う必要があります。

弊社は高品質なトレーニングデータセットを確保するために、以下の3つのアクションを行っています。AI/MLモデルに最適なトレーニングデータを提供するための基本的なガイドをご覧ください。

 

1. データラベリングの品質管理を強化するためのお客様の要求を明確化

品質の高いデータラベリングとは、単に最も丁寧にアノテーションされたデータや、最高品質のトレーニングデータを意味するものではありません。戦略的なデータアノテーションプロジェクトでは、トレーニングデータの要件を明確にする必要があります。アノテーションチームのリーダーが答えなければならないのは、どの程度の品質のデータが必要なのかということです。

データアノテーション品質を提供するベンダーとして、私たちが常にお客様にお聞きするのは、その要件です。「データセットを扱うのにどれだけ手間がかかるか」、「アノテーションの精度はどうしたいか」などです。これらの質問に答えることで、後々のプロジェクト全体のベンチマークとなるのです。

 

 

人工知能と機械学習の実装は非常に幅広いことを覚えておいてください。自律走行車や交通機関での一般的なアプリケーションのほか、AIやMLはヘルスケアや医療、農業、ファッションなどでもデビューしています。それぞれの業界には、何百もの異なるプロジェクトがあり、異なる種類の対象物を扱い、それゆえに異なる品質要件があります。

簡単な例として、道路のアノテーションと医療データのアノテーションを紹介します。道路のアノテーションの場合、作業は非常に簡単で、一般的な知識を持ったアノテーターがいれば大丈夫です。一方、このアノテーションプロジェクトでは、アノテーションが必要なデータセットの数が数百万の動画や写真にも及ぶため、アノテーターは許容範囲内の品質で高い生産性を維持する必要があります。

一方、医療データでは、特定の知識を持った医療分野で働くアノテーターが必要です。糖尿病性網膜症の場合、訓練を受けた医師が写真から糖尿病性網膜症の重症度を評価することで、この分野にディープラーニングを適用することができます。

 

 

よく訓練された医師であっても、すべてのアノテーションがお互いに一致するとは限りません。一貫した結果を得るためには、1つのアノテーションチームが各ファイルに何度もアノテーションを行い、最終的に相関関係を得る必要があるかもしれません。それは、与えられたデータがどれだけ複雑か、またお客様がどれだけ詳細なデータ出力を望んでいるかという問題です。これらが明確になれば、チームリーダーは必要な成果を得るためのリソースの配分を考えることができます。指標と品質保証プロセスはこの後に定義されます。

また、クライアントは、アノテーションされるすべてのデータセットの「ベンチマーク」となるサンプルセットを提供する必要がある。これは、データアノテーションの品質を保証するための、最もわかりやすい手法です。完璧にアノテーションされたデータの例があれば、今度はアノテーターがトレーニングを受け、仕事のベースラインを提示することができます。

ベンチマークを理想的な結果とすることで、各アノテーターの精度やパフォーマンスを評価するための一致率の指標を算出することができます。アノテーションとレビューの両方のプロセスに不確実性がある場合、QAスタッフはこれらのサンプルデータセットを使って、どれが適格でどれがそうでないかを定義することができます。

 

2. 多層的なQAプロセス

データラベリングプロジェクトにおけるQAプロセスは、企業によって異なります。ロータスQAでは、国際的に標準化された品質保証プロセスを遵守しています。事前に設定された優先は、常にプロジェクトの開始時に明確にされます。これらの設定は1つの「ベンチマーク」にまとめられ、後にすべてのラベルとアノテーションの「ゴールデンスタンダード」として機能します。

2.1. 自己診断

このステップでは、アノテーターに自分の作業のレビューをしてもらいます。自己評価をすることで、アノテーターはプロジェクト開始時のデータアノテーションツール、アノテーション、ラベリングを振り返ることができるようになります。通常、アノテーターは、時間的にも仕事的にも大きなプレッシャーの中で仕事をしなければならず、そのために仕事に狂いが生じてしまう可能性があります。セルフチェックから始まる品質保証では、アノテーターがゆっくりと自分の仕事ぶりを見直すことができます。間違いや逸脱の可能性を認めることで、アノテーターは自分でそれを修正し、将来的にそれらを避けることができます。

2.2. クロスチェック

データサイエンス、特にデータアノテーションにおいて、「バイアス」という言葉を聞いたことがあるかもしれません。アノテーションの偏りとは、アノテーターがデータをラベル付けする際に独自の習慣を持っているため、提供されたデータに対して偏った意見を持ってしまうことを指します。場合によっては、アノテーターの偏りがモデルの性能に影響を与えることもあります。よりロバストなAIやMLモデルを構築するためには、偏ったアノテーションを排除するための有効な手段を講じる必要がありますが、そのためのシンプルな方法の一つがクロスチェックです。

 

 

アノテーションの過程でクロスチェックを行うことで、作品全体の見方が変わり、アノテーターは同僚の作品の間違いやエラーを特定することができます。また、このような異なる視点を持つことで、レビュアーは偏った注釈を指摘することができ、チームリーダーはさらなる行動を起こすことができます。チームリーダーは、手直しをしたり、注釈が本当に偏っているかどうかを確認するために再度評価を行ったりすることができます。

2.3. マネージャーの評価

アノテーションプロジェクトマネージャーは、通常、アノテーションプロジェクトの日常的な監督を担当します。主な仕事は、作業員の選定と管理、データの品質と一貫性の確保などであります。マネージャーは、クライアントからデータのサンプリングを受けて、必要なメトリクスの作業を行い、アノテーターの教育訓練を実施する役割を果たします。クロスチェックが済んだら、マネージャーはアウトプットをランダムにチェックして、クライアントの要求を遵守しているかどうかを確認します。これらのチェックに先立ち、アノテーションのプロジェクトマネージャーは、品質保証のための「ベンチマークライン」を引かなければなりません。一貫性と正確性を確保するために、事前に設定した品質に満たない作業は、手直ししなければなりません。

 

3. 品質保証スタッフの関与

データラベリングの品質管理は、アノテーションチームだけに頼ることはできません。実際には、専門的で経験豊富な品質保証スタッフの関与が必須となる。アノテーション作業の最高の品質を確保するためには、品質保証スタッフのチームが必須である。品質保証スタッフは、アノテーションプロジェクトマネージャーの管理下ではなく、アノテーションチームの外にある独立した部門として働きます。
データアノテーションスタッフ全体に占める品質スタッフの理想的な割合は10%を超えません。QAスタッフは、プロジェクト内のすべてのアノテーションされたデータをレビューすることはできませんし、するつもりもありません。実際には、ランダムにデータセットを取り出して、もう一度、アノテーションをレビューします。

 

 

これらのQAスタッフは、データサンプルについて十分な訓練を受けており、アノテーションされたデータの品質を評価するための基準を持っています。これらの評価基準は、事前にQAチームのリーダーとアノテーションプロジェクトマネージャーの間で合意されなければなりません。セルフチェック、クロスチェック、マネージャーの評価の3段階のレビューに加えて、QAスタッフがアノテーションプロジェクトに参加することで、データ出力が事前に定義されたベンチマークに確実に適合し、最終的には最高レベルのトレーニングデータを確保することができます。

データラベリングの品質を向上するため、専門家の話をもっとお聞きしたいですか?ロータスQAにお気軽にお気軽にお問い合わせください