EU AI 규칙안에서는 AI 위험을 수준에 따라 unacceptable, high, low or minimal로 구분하고 위험수준에 비례하는 위험관리를 제안하고 있다(위험수준별(Risk-based) 규제).
AI 시스템의 의도된 사용목적, 사용정도, 건강·안전·기본권에 미치는 영향, 피해의 강도 및 범위, 피해복원 가능성 정도 등을 고려하여 AI 시스템의 위험수준을 평가하고 있다. 그에 따라 그 위험은 4단계로 구분하고, 허용할 수 없는 위험(unacceptable risk)을 초래할 수 있는 AI 시스템의 활용은 금지하고, 고위험(high risk) AI 시스템은 요구사항 충족 시 허용하는 원칙을 제안하고 있다.
EU의 AI 규칙안은 우리나라 기업에도 적용될 수 있는 지리적 적용범위를 정하고 있기 때문에 자사가 연구개발 또는 판매하고 있는 AI 시스템 중에 이 적용범위에 포함될 수 있는 것이 있는지를 밝혀내는 것이 요구된다.
EU AI 규칙안상의 이른바 허용할 수 없는 위험의 AI 시스템이라는 개념은 AI와 관련한 산업 및 법정책에 미치는 영향이 지대할 것으로 기대된다. 특히, AI가 초래할 위험과 관련하여 기본적 인권에 대한 위험(개인 데이터와 프라이버시 보호, 비차별을 포함)의 문제에 대해서는 빠른 시일 내에 이에 대한 대응책이 완비되지 않으면 안 될 것이다. AI가 정부기관 등에 의해서 대규모 감시의 목적으로 이용되거나 고용주에 의해서 종업원의 행동을 감시하는 목적으로 이용되는 것, AI가 익명화된 데이터(de-anonymise data)의 재인식에 이용되는 것, 온라인 중개 사업자(플랫포머)에 의해서 사용자 기업의 정보를 우선시키거나 컨텐츠의 조정을 실시하기 위해서 이용되는 것, 인간의 의사결정과 같은 편견이 AI에 존재할 수 있는 것 등의 위험에 대해서 대응하지 않으면 안 될 것이다.The proposed EU AI rules categorize AI risks into unacceptable, high, low or minimal according to the level, and propose risk management proportional to the level of risk(regulations by level of risk). The risk level of the AI system is evaluated by taking into account the purpose of intentional use of the AI system, its degree of use, its impact on health, safety, and basic rights, its intensity and scope of damage, and its likelihood of recovery. Therefore, the risks are divided into four stages, prohibiting the use of AI systems that can lead to unacceptable risks, and proposing the principle that high risk AI systems allow when meeting requirements.
Since the EU's proposed AI rule sets a geographical scope that can be applied to Korean companies, it is required to clarify whether any AI systems that it is researching and developing or selling are included in this scope.
The concept of the so-called unacceptable and dangerous AI system in the proposed EU AI Regulation is expected to have a significant impact on our AI-related industrial and legal policies. In particular, countermeasures against the risks posed by AI to fundamental human rights, namely the protection of personal data and privacy and non-discrimination, must be completed as soon as possible.
In addition, the following risks must be addressed: (i) AI must be used by government agencies, etc. for large-scale monitoring purposes; (ii) AI must be used by employers to monitor employee behavior; (iii) AI must be used to reacknowledge anonymized data; (iv) online intermediaries (platforms) to prioritize user company information or adjust content.