Author Archives: yamashita

完全自動運転車はデータアノテーションで実現できるのか？

AIとデータアノテーションの最も一般的なユースケースの1つは自律走行車です。自律走行車（または自動運転車）のアイデアは、エンターテインメントや実際の交通機関においても、常に魅力的な利用分野となっています。 かつては架空の話でしたが、情報技術の進化と長年培ってきた技術力により、自律走行が可能になりました。

 

 

自律走行車におけるAIとデータアノテーションの最も有名な実装例は、おそらくTesla Autopilotでしょう。これは、車が車線内でハンドル操作、加速、ブレーキを自動的に行い、運転の最も負担のかかる部分を支援するものです。 しかし、テスラオートパイロットは、欧米のいくつかの国でしか成功が確認されていません。ここでの本当の疑問は “テスラオートパイロットは、東南アジア諸国の混雑した道路で使用できるのか？

 

1. AI搭載の自律走行車におけるデータアノテーションの役割

人工知能（AI）がインダストリー4.0の代表的なトレンドであることは否定できません。大きな言葉や、日常生活におけるAIの「先見の明」的な見通しは実に魅力的ですが、実際にそれを実現することは見過ごされがちです。

実は、AIの実装の始まりは、何年も前に、架空の大ヒット映画でよく見かけるバーチャルアシスタントの基礎から始まっています。映画の中では、世界は機械と自動化によって支配されています。特に、車や船、飛行機などの乗り物は、AIによる制御システムによってうまく管理されています。AI開発の多面的な革新により、自律・自動運転車の成功をはじめ、上記の多くが現実のものとなりました。

1.1. 高精度のトレーニングデータ

自動運転車の重要な特徴は、ハードウェアとソフトウェアの2つです。自律走行車が正しく機能するためには、周囲の環境を感知し、人間の手を借りずに物体をナビゲートすることが求められます。ハードウェアは、道路上で車を走らせるためのものです。そのほか、自律走行車のハードウェアには、カメラや熱センサーなど、物や人の存在を検知できるものが搭載されています。その立脚点となるのが、機械学習のアルゴリズムを学習させたソフトウェアではないでしょうか。

ラベル付けされたデータセットは、前述の学習アルゴリズムの入力データとして重要な役割を果たします。これらのデータセットに注釈が付けられれば、AIソフトウェアの「学習能力」が豊かになり、したがって自動車の適応性も向上する。ラベル付けされたデータセットの精度が高ければ、アルゴリズムの性能は向上します。データアノテーションの精度が低いと、運転中にエラーが発生する可能性があり、非常に危険です。

1.2. エンドユーザーの利便性向上

一流の体験のためにお金を払わない人はいないでしょう。テスラを例にとってみましょう。テスラのモデルは、人々が無意識のうちに他の自律走行車ブランドに設定する基準、ベンチマークとなっています。デザインからオートパイロットによる自動運転の操作性まで、高級感だけでなく安全性も兼ね備えています。テスラがどのように車を設計するかは別の話です。お客様のために本当に大切なのは安全性です。すべてを “機械 “に任せるのは、最初は怖いかもしれませんが、テスラも多くの実験やAIソフトウェアのバージョンを通じてそれを保証しています。実際、テスラのオートパイロットは、欧米複数国の高速道路を容易に走行できることが証明されています。

 

 

テスラの自動運転モデルXが非常に混雑なベトナムの道路で敗北した映像を見たことがあるかもしれません。しかし、私たちは、自律走行車が最も必要とされるシナリオを振り返ってみる必要があります。 ここでの答えは、フリーウェイとハイウェイです。そして、テスラはこれらの道路でとてもうまくやれるのです。この場合のデータアノテーションの役割は、高品質のアノテーションされたデータセットを通じて、機械が高い頻度で訓練されることで、乗客の安全を確保することです。

 

2. 自律走行車の未来

自動運転がない状態から完全自動運転へと簡単に移行できるわけではありません。実際には、レベル3の「条件付き運転自動化」がやっとなのです。

• レベル0（自動化運転なし): 車両は手動で制御されています。一部の機能は、問題が発生すると自動的に「ポップアップ」するように設計されています。
• レベル1（運転支援）。ステアリングやアクセルの操作（クルーズコントロール）などの運転支援システムが単独で搭載されています。
• レベル2：（部分的な自動運転）：ADAS（ステアリングとアクセルの操作）に対応している車両です。ここでは、人間が運転席に座り、いつでも車をコントロールできるため、自動化は自動運転には及びません。
• レベル3（条件付き自動運転）：環境検知機能を持ち、加速して遅い車を追い越すなど、自分で判断することができます。しかし、人間によるオーバーライドが必要です。システムがタスクを実行できない場合、ドライバーは常に注意を怠らず、制御できるようにしておく必要があります。テスラのオートパイロットは、レベル3に認定されています。
• レベル4（高度な自動運転）：車両は、限られたエリア内で自動運転モードで動作できます。
• レベル5（完全自動運転）：人間の注意を必要としない車両です。ハンドルやアクセル・ブレーキのペダルもありません。。まだまだレベル5には程遠い状況です。

テスラのオートパイロットがレベル3に認定されたことで、私たちは完全な運転の自動化への道のりの半分しか進んでいません。しかし、私たちは個人的に、これらのレベル3車両の問題はAIシステムのトレーニングデータであると考えています。これまでに投入されたデータセットは非常に限られており、大海の一滴にしかすぎません。

AIシステムを学習させるには、データセットが膨大な量であることはもちろん、精度だけでなく高品質であることが求められるため、簡単なことではありません。

テスラをはじめとする自律走行車メーカーは、競争に打ち勝つために、かなりのスピードを求めています。このような企業は、自分たちでデータ処理を行うのではなく、データ処理の管理と実行を効率的に行うために、アウトソーシングベンダーの助けを求めることがよくあります。これらのベンダーは、データ収集とデータアノテーションの両方をサポートします。

データアノテーションを気にすることなく、自律的な市場に参加したいですか？LQAのコンサルティングを受けて、あなたのビジネスに最適なデータアノテーションツールを見つけてください。 専門家によるフルサポートをご希望の方は、今すぐお問い合わせください。

• Website:  https://jp.lotus-qa.com/
• Tel: (+84) 24-6660-7474
• Fanpage: https://www.facebook.com/LotusQualityAssurance

データラベリングの品質を確保するための基本的なガイド

データのラベル付け品質の問題は、AI/MLコミュニティで大きな関心事となっています。このパズルを解くときに出くわす最も一般的な「原則」は、おそらく「Garbage in, garbage out」でしょう。

このように言うことで、私たちが強調したいのは、人工知能や機械学習の開発プロジェクトにおけるトレーニングデータとの基本的な法則です。AI/MLモデルに供給される質の悪い学習データセットは、操作に多くの誤りをもたらします。例えば、自律走行車のトレーニングデータは、その車が道路上で機能するかどうかの決め手になります。質の悪いトレーニングデータを使用すると、AIモデルが人間を物体と間違えたり、逆に物体を人間と間違えたりする可能性があります。いずれにしても、質の悪いトレーニングデータは事故のリスクを高めることになり、自律走行車メーカーにとっては最も避けたい事態となります。
高品質な学習データを得るためには、データ処理の過程でデータラベリングの品質保証を行う必要があります。

弊社は高品質なトレーニングデータセットを確保するために、以下の3つのアクションを行っています。AI/MLモデルに最適なトレーニングデータを提供するための基本的なガイドをご覧ください。

 

1. データラベリングの品質管理を強化するためのお客様の要求を明確化

品質の高いデータラベリングとは、単に最も丁寧にアノテーションされたデータや、最高品質のトレーニングデータを意味するものではありません。戦略的なデータアノテーションプロジェクトでは、トレーニングデータの要件を明確にする必要があります。アノテーションチームのリーダーが答えなければならないのは、どの程度の品質のデータが必要なのかということです。

データアノテーション品質を提供するベンダーとして、私たちが常にお客様にお聞きするのは、その要件です。「データセットを扱うのにどれだけ手間がかかるか」、「アノテーションの精度はどうしたいか」などです。これらの質問に答えることで、後々のプロジェクト全体のベンチマークとなるのです。

 

 

人工知能と機械学習の実装は非常に幅広いことを覚えておいてください。自律走行車や交通機関での一般的なアプリケーションのほか、AIやMLはヘルスケアや医療、農業、ファッションなどでもデビューしています。それぞれの業界には、何百もの異なるプロジェクトがあり、異なる種類の対象物を扱い、それゆえに異なる品質要件があります。

簡単な例として、道路のアノテーションと医療データのアノテーションを紹介します。道路のアノテーションの場合、作業は非常に簡単で、一般的な知識を持ったアノテーターがいれば大丈夫です。一方、このアノテーションプロジェクトでは、アノテーションが必要なデータセットの数が数百万の動画や写真にも及ぶため、アノテーターは許容範囲内の品質で高い生産性を維持する必要があります。

一方、医療データでは、特定の知識を持った医療分野で働くアノテーターが必要です。糖尿病性網膜症の場合、訓練を受けた医師が写真から糖尿病性網膜症の重症度を評価することで、この分野にディープラーニングを適用することができます。

 

 

よく訓練された医師であっても、すべてのアノテーションがお互いに一致するとは限りません。一貫した結果を得るためには、1つのアノテーションチームが各ファイルに何度もアノテーションを行い、最終的に相関関係を得る必要があるかもしれません。それは、与えられたデータがどれだけ複雑か、またお客様がどれだけ詳細なデータ出力を望んでいるかという問題です。これらが明確になれば、チームリーダーは必要な成果を得るためのリソースの配分を考えることができます。指標と品質保証プロセスはこの後に定義されます。

また、クライアントは、アノテーションされるすべてのデータセットの「ベンチマーク」となるサンプルセットを提供する必要がある。これは、データアノテーションの品質を保証するための、最もわかりやすい手法です。完璧にアノテーションされたデータの例があれば、今度はアノテーターがトレーニングを受け、仕事のベースラインを提示することができます。

ベンチマークを理想的な結果とすることで、各アノテーターの精度やパフォーマンスを評価するための一致率の指標を算出することができます。アノテーションとレビューの両方のプロセスに不確実性がある場合、QAスタッフはこれらのサンプルデータセットを使って、どれが適格でどれがそうでないかを定義することができます。

 

2. 多層的なQAプロセス

データラベリングプロジェクトにおけるQAプロセスは、企業によって異なります。ロータスQAでは、国際的に標準化された品質保証プロセスを遵守しています。事前に設定された優先は、常にプロジェクトの開始時に明確にされます。これらの設定は1つの「ベンチマーク」にまとめられ、後にすべてのラベルとアノテーションの「ゴールデンスタンダード」として機能します。

2.1. 自己診断

このステップでは、アノテーターに自分の作業のレビューをしてもらいます。自己評価をすることで、アノテーターはプロジェクト開始時のデータアノテーションツール、アノテーション、ラベリングを振り返ることができるようになります。通常、アノテーターは、時間的にも仕事的にも大きなプレッシャーの中で仕事をしなければならず、そのために仕事に狂いが生じてしまう可能性があります。セルフチェックから始まる品質保証では、アノテーターがゆっくりと自分の仕事ぶりを見直すことができます。間違いや逸脱の可能性を認めることで、アノテーターは自分でそれを修正し、将来的にそれらを避けることができます。

2.2. クロスチェック

データサイエンス、特にデータアノテーションにおいて、「バイアス」という言葉を聞いたことがあるかもしれません。アノテーションの偏りとは、アノテーターがデータをラベル付けする際に独自の習慣を持っているため、提供されたデータに対して偏った意見を持ってしまうことを指します。場合によっては、アノテーターの偏りがモデルの性能に影響を与えることもあります。よりロバストなAIやMLモデルを構築するためには、偏ったアノテーションを排除するための有効な手段を講じる必要がありますが、そのためのシンプルな方法の一つがクロスチェックです。

 

 

アノテーションの過程でクロスチェックを行うことで、作品全体の見方が変わり、アノテーターは同僚の作品の間違いやエラーを特定することができます。また、このような異なる視点を持つことで、レビュアーは偏った注釈を指摘することができ、チームリーダーはさらなる行動を起こすことができます。チームリーダーは、手直しをしたり、注釈が本当に偏っているかどうかを確認するために再度評価を行ったりすることができます。

2.3. マネージャーの評価

アノテーションプロジェクトマネージャーは、通常、アノテーションプロジェクトの日常的な監督を担当します。主な仕事は、作業員の選定と管理、データの品質と一貫性の確保などであります。マネージャーは、クライアントからデータのサンプリングを受けて、必要なメトリクスの作業を行い、アノテーターの教育訓練を実施する役割を果たします。クロスチェックが済んだら、マネージャーはアウトプットをランダムにチェックして、クライアントの要求を遵守しているかどうかを確認します。これらのチェックに先立ち、アノテーションのプロジェクトマネージャーは、品質保証のための「ベンチマークライン」を引かなければなりません。一貫性と正確性を確保するために、事前に設定した品質に満たない作業は、手直ししなければなりません。

 

3. 品質保証スタッフの関与

データラベリングの品質管理は、アノテーションチームだけに頼ることはできません。実際には、専門的で経験豊富な品質保証スタッフの関与が必須となる。アノテーション作業の最高の品質を確保するためには、品質保証スタッフのチームが必須である。品質保証スタッフは、アノテーションプロジェクトマネージャーの管理下ではなく、アノテーションチームの外にある独立した部門として働きます。
データアノテーションスタッフ全体に占める品質スタッフの理想的な割合は10％を超えません。QAスタッフは、プロジェクト内のすべてのアノテーションされたデータをレビューすることはできませんし、するつもりもありません。実際には、ランダムにデータセットを取り出して、もう一度、アノテーションをレビューします。

 

 

これらのQAスタッフは、データサンプルについて十分な訓練を受けており、アノテーションされたデータの品質を評価するための基準を持っています。これらの評価基準は、事前にQAチームのリーダーとアノテーションプロジェクトマネージャーの間で合意されなければなりません。セルフチェック、クロスチェック、マネージャーの評価の3段階のレビューに加えて、QAスタッフがアノテーションプロジェクトに参加することで、データ出力が事前に定義されたベンチマークに確実に適合し、最終的には最高レベルのトレーニングデータを確保することができます。

データラベリングの品質を向上するため、専門家の話をもっとお聞きしたいですか？ロータスQAにお気軽にお気軽にお問い合わせください。

• Website:  https://jp.lotus-qa.com/
• Tel: (+84) 24-6660-7474
• Fanpage: https://www.facebook.com/LotusQualityAssurance

 

自動データラベリングが未来の技術になるのはなぜ？

自動データラベリングは、現在絶えず言及されている新機能であり、時間とリソースを要するカジュアルなマニュアルアノテーションの解決策とみなされています。データセットにアノテーションを施すのに何時間もかかるマニュアルデータラベリング（通称：マニュアルデータアノテーション）に対し、オートラベリング技術は、データを高度に処理するために、よりシンプルで速い方法のようです。

 

1. 通常のデータセットの扱い方

データラベリングの最も一般的でシンプルなアプローチは、もちろん完全な手動によるものです。人間のユーザーは、一連の生ラベル付けされていないデータ（画像やビデオなど）を提示され、一連のルールに基づいてラベル付けを行うことになります。例えば、画像データを処理する場合、分類タグ、バウンディングボックス、ポリゴン分割、キーポイントなどが代表的なアノテーションの種類です。

 

 

最も簡単で安価なアノテーションである分類タグは、わずか数秒で済むかもしれませんが、細かいポリゴンのセグメンテーションは、オブジェクトの各インスタンスごとに数分かかる可能性があります。
AIオートメーションがデータラベリング時間に与える影響を計算するため、ユーザーがオブジェクトの周囲にバウンディングボックスを描き、与えられたリストからオブジェクトクラスを選択するのに10秒かかると仮定してみましょう。これは私たちの経験的な証拠に裏付けられた観察可能な仮定です。

今回のケースでは、10万枚の画像と1枚あたり5個のオブジェクトからなる典型的なデータセットの場合、ラベリングには約1,500工数がかかり、これはデータラベリングだけで約1万ドルを費やすことに相当します。

また、ラベリングされたデータを手作業で確認するための品質管理のレイヤーを追加することが納品までの時間も長くなります。訓練されたユーザーでさえ、各バウンディングボックスの注釈をチェックするのに約1秒かかるため、ラベリングのコストが約10％増加します。

ワークフローの中には、コンセンサスベースの品質管理を採用する場合があります。これは、複数のユーザーが同じデータに注釈をつけ、その結果を統合/比較して品質管理を行うものです。コンセンサスベースのワークフローでは、コンセンサスを得るために重複した作業を行うユーザーの数に比例して、かかる時間と費用が大きくなります。簡単に言えば、3人のユーザーが同じ画像に3回ラベル付けをした場合、3回分のアノテーションの費用が必要になるということです。

ここで強調しておきたいのは、データラベリングにおいて最もコストのかかるのは下記の2つのステップです。

• データラベリング自体
• 品質管理のためのレビューと検証作業

したがって、オートラベル技術の最大の目的は、データラベリングと検証の両方にかかる時間を短縮することです。

ありがたいことに、AIと機械学習の進歩により、Auto-Label技術は大きく進歩しました。しかし、すべてのAuto-Labelテクノロジーが同じように作られているわけではなく、多くの場合、AIを使用する素朴な試みは、AIによって引き起こされたエラーを修正するために、より多くの人間の入力を必要とすることになります。そのため、選択したAIがデータのワークストリーム全体にどのような影響を与えるかを極めて慎重に判断しなければなりません。

ここでは、Superb AIのAuto-Labelとは一体何なのか、この技術の背景にある目的、そしてSuperb AIがこの分野でどのような進歩を遂げているのかをご紹介します。

 

2. オートラベリングのメリット

オートラベリングという言葉は、この分野では非常に新しい言葉ですが、それを実装し実現するための技術的進歩は高速で進んでおり、現在では多くのツールが市場に出回っています。では、データラベリングとはどのようなもので、どのようなメリットがあるのでしょうか。

2.1. オートラベリングとは？

 

 

オートラベリングとは、人工知能（AI）を応用してデータセットのエンリッチ、アノテーション、ラベリングを行うデータアノテーションツールに搭載されている機能です。この機能を備えたツールは、機械学習のためのデータラベリングにかかる時間とコストを削減するために、人間の作業を増強します。

ほとんどのツールでは、事前にアノテーションされたデータをツールに読み込むことができます。プラットフォームに進化しているより高度なツール（例えば、ツールとソフトウェア開発キット（SDK）を組み合わせたもの）では、AIを活用したり、独自のアルゴリズムをツールに持ち込んだりして、データをオートラベリングすることで、データエンリッチメントのプロセスを改善することができます。

また、作業者がアノテーションを検証できるように、アノテーションを提案する予測モデルを提供するツールもあります。また、内蔵されたニューラルネットワークを活用して、アノテーションを行うたびに学習する機能もあります。これらの機能はいずれも、機械学習チームの時間とリソースを節約し、データアノテーションのワークフローに大きな影響を与えるでしょう。

2.2. オートラベリングの優れたメリット

機械学習のために画像をアノテーションするツールを使用している組織との仕事の中で、オートラベリングがデータアノテーションのワークフローに適用された場合、2つの方法で役に立つことがわかりました。

データセットの一部または全部に事前にアノテーションを施します。自動化された後、作業者はアノテーションを確認、修正、完成させます。自動化ですべてのアノテーションを行うことはできず、例外やエッジケースが発生します。完璧とは言えませんので、必要に応じて人がレビューや修正を行うことを計画しなければなりません。

人に送る仕事の量を減らす。自動ラベリングモデルは、ユースケースやタスクの難易度などに基づいて信頼度を割り当てることができます。また、データセットにアノテーションを付与し、信頼度の低いアノテーションをレビューや修正のために担当者に送ります。

自動化機能を備えたツールを使用するチームと、同じデータに手動でアノテーションを行うチームに分かれて、時間をかけた実験を行いました。自動ラベリングが低品質な結果をもたらし、アノテーション作業に要する時間が長くなるケースもありました。一方で、自動ラベリングが有用な出発点となり、作業時間が短縮されたこともあります。

 

 

ある画像のアノテーション実験では、自動ラベリングに人力によるレビューと改善を組み合わせることで、100％手作業によるラベリングプロセスよりも10％速くなりました。この時間短縮は、自動化が時間をかけて学習されるにつれて、40％から50％の速度に増加しました。

また、車両については5ピクセル以上の誤差があり、カメラから最も離れた物体を見逃していました。この画像では、自動ラベリング機能により、ゴミ箱に人のタグが付けられているのがわかります。アノテーション前の予測は既存のモデルに基づいており、オートラベリングのミスはそれらのモデルの精度を反映していることを覚えておく必要があります。
データアノテーションツールには、人工知能を使ってデータにラベルを付けるオートラベリングとも呼ばれる自動化機能を搭載することができ、作業員はそのラベルを確認したり修正したりすることで、作業時間を短縮することができます。

道路標識のスクリーンショットでは、自動ラベル付けにより、ゴミ箱を囲むバウンディングボックスで画像を豊かにすることができました。これは間違いでした。その物体を人としてラベル付けしてしまったのです。オートラベリングは完璧ではありませんが、データラベラーのチームにとっては、出発点として役立ち、作業時間を短縮することができます。

 

 

プレアノテーションに適したタスクもあります。例えば、私たちの実験の例で言えば、プレアノテーションを使って画像にラベル付け、データラベラーのチームがラベルやバウンディングボックスのサイズを変更するか削除するかを判断することができます。このラベリング時間の短縮は、ピクセルレベルのセグメンテーションで画像にアノテーションを施す必要があるチームにとって有益です。

オートラベリングを適用するには、創造性が必要だということです。オートラベリングをうまく活用しているお客様は、必要に応じて試行錯誤を繰り返すことを厭わないことがわかりました。オートラベリングは、AI技術、特に機械学習をより良く理解するための一つの突破であり、この新しい用語にはまだ多くの発見があります。

 

Website: https://jp.lotus-qa.com/
Tel: (+84) 24-6660-7474
Fanpage: https://www.facebook.com/LotusQualityAssurance