Regulation (EU) 2024/1689 / 第III章 — 高リスクAIシステム
第15条 正確性、堅牢性及びサイバーセキュリティ
Article 15 — Accuracy, robustness and cybersecurity
この法令は規則(EU)2026/1744(AIデジタルオムニバス)により一部改正されています(2026年7月27日発効)。本文は改正前のものです。
1. 高リスクAIシステムは、適切な水準の正確性、堅牢性及びサイバーセキュリティを達成し、そのライフサイクルを通じてこれらの点で一貫して機能するように設計及び開発されなければならない。
1. High-risk AI systems shall be designed and developed in such a way that they achieve an appropriate level of accuracy, robustness, and cybersecurity, and that they perform consistently in those respects throughout their lifecycle.
2. 第1項に定める適切な水準の正確性及び堅牢性並びにその他の関連する性能指標をどのように測定するかの技術的側面に対処するため、欧州委員会は、計量及びベンチマークの機関など関連する利害関係者及び組織と協力して、適宜、ベンチマーク及び測定方法の開発を奨励しなければならない。
2. To address the technical aspects of how to measure the appropriate levels of accuracy and robustness set out in paragraph 1 and any other relevant performance metrics, the Commission shall, in cooperation with relevant stakeholders and organisations such as metrology and benchmarking authorities, encourage, as appropriate, the development of benchmarks and measurement methodologies.
3. 高リスクAIシステムの正確性の水準及び関連する正確性の指標は、添付される使用説明書において宣言されなければならない。
3. The levels of accuracy and the relevant accuracy metrics of high-risk AI systems shall be declared in the accompanying instructions of use.
4. 高リスクAIシステムは、特に自然人又は他のシステムとの相互作用により、システム内又はシステムが動作する環境内で生じうる誤り、障害又は不整合に関して、可能な限り回復力を有しなければならない。この点に関して、技術的及び組織的措置を講じなければならない。
4. High-risk AI systems shall be as resilient as possible regarding errors, faults or inconsistencies that may occur within the system or the environment in which the system operates, in particular due to their interaction with natural persons or other systems. Technical and organisational measures shall be taken in this regard.
高リスクAIシステムの堅牢性は、バックアップ計画又はフェイルセーフ計画を含みうる技術的冗長性の解決策によって達成することができる。
The robustness of high-risk AI systems may be achieved through technical redundancy solutions, which may include backup or fail-safe plans.
上市又は使用開始後も学習を続ける高リスクAIシステムは、偏りのある可能性のある出力が将来の運用の入力に影響を与えるリスク(フィードバックループ)を可能な限り除去又は低減し、当該フィードバックループに適切な軽減措置で適切に対処することを確保するように開発されなければならない。
High-risk AI systems that continue to learn after being placed on the market or put into service shall be developed in such a way as to eliminate or reduce as far as possible the risk of possibly biased outputs influencing input for future operations (feedback loops), and as to ensure that any such feedback loops are duly addressed with appropriate mitigation measures.
5. 高リスクAIシステムは、権限のない第三者がシステムの脆弱性を悪用してその使用、出力又は性能を変更しようとする試みに対して回復力を有しなければならない。
5. High-risk AI systems shall be resilient against attempts by unauthorised third parties to alter their use, outputs or performance by exploiting system vulnerabilities.
高リスクAIシステムのサイバーセキュリティを確保することを目的とする技術的解決策は、関連する状況及びリスクに適したものでなければならない。
The technical solutions aiming to ensure the cybersecurity of high-risk AI systems shall be appropriate to the relevant circumstances and the risks.
AI固有の脆弱性に対処するための技術的解決策には、適切な場合には、訓練データセットの操作を試みる攻撃(データポイズニング)、訓練に使用される事前訓練済みの構成部品の操作を試みる攻撃(モデルポイズニング)、AIモデルに誤りを犯させるよう設計された入力(敵対的サンプル又はモデル回避)、機密性に対する攻撃又はモデルの欠陥を防止し、検出し、対応し、解決し、管理するための措置を含めなければならない。
The technical solutions to address AI specific vulnerabilities shall include, where appropriate, measures to prevent, detect, respond to, resolve and control for attacks trying to manipulate the training data set (data poisoning), or pre-trained components used in training (model poisoning), inputs designed to cause the AI model to make a mistake (adversarial examples or model evasion), confidentiality attacks or model flaws.