KI-Verordnung wird anwendbar: Verbot von Emotionserkennung am Arbeitsplatz und KI-Kompetenz

Mit 2. Februar 2025 sind die ersten Bestimmungen der Verordnung zur Künstlichen Intelligenz (AI-Act) innerhalb der Europäischen Union – und damit auch in Österreich – in Kraft getreten.

Anwendbar werden die verbotenen Praktiken im KI-Bereich (Verbot von KI-Systemen mit unannehmbaren Risiken wie die Emotionserkennung am Arbeitsplatz)  sowie die allgemeinen Bestimmungen, u.a. zur KI-Kompetenz.  Verpflichtet werden u.a. Unternehmen, die KI-Systeme einsetzen oder entwickeln, die KI-Kompetenz ihrer Mitarbeiter:innen sicherzustellen. 

Wie wirkt sich das auf Arbeitnehmer:innen aus?

Verboten sind KI-Systeme zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, die Verwendung eines solchen KI-Systems erfolgt nachweislich aus medizinischen Gründen oder aus Sicherheitsgründen. Solche Systeme können in der Arbeitswelt zum Beispiel zur Begleitung des Einstellungsprozess, zur Überwachung der Emotionen und der Aufmerksamkeit der Arbeitnehmer:innen oder zur Erkennung riskanten Verhaltens eingesetzt werden. Sie beruhen auf der Verarbeitung biometrischer Daten wie Stimme oder Gesichtsausdruck und sind oft nicht genau, wenig zuverlässig oder effektiv, da der Ausdruck von Gefühlen kulturell und situationsbedingt stark variieren kann. Emotionserkennung kann deshalb, insbesondere in asymmetrischen Beziehungen wie im Arbeitskontext, zu diskriminierenden Ergebnissen führen und in die Rechte und Freiheiten der Betroffenen eingreifen, insbesondere in die Rechte auf Privatsphäre, Menschenwürde und Gedankenfreiheit.

Verboten sind daher KI-Systeme zur Emotionserkennung am Arbeitsplatz unter vier Bedingungen:

(i) es handelt sich um das „Inverkehrbringen“, die „Inbetriebnahme“ zu diesem speziellen Zweck oder die „Verwendung“ eines KI-Systems;

(ii) das betreffende KI-System dient zum Erkennen von Emotionen;

(iii) im Bereich des Arbeitsplatzes oder von Bildungs- und Ausbildungseinrichtungen; und

(iv) es handelt sich nicht um ein KI-System für medizinische oder sicherheitstechnische Zwecke (im Sinne des Arbeitnehmerschutzes).

Weitere Verbote betreffen KI-Anwendungen, die Personen oder Personengruppen erheblichen Schaden, eine Schlechterstellung oder Benachteiligung zufügen können, u.a.

• absichtlich manipulative oder täuschende Techniken
• die Ausnutzung von schwachen oder schutzbedürftigen Personen
• Social Scoring (das ist die Bewertung oder Einstufung aufgrund persönlicher Merkmale),
• automatisiertes Profiling zur Bewertung oder Vorhersage, ob eine Person eine Straftat begehen wird,
• biometrische Echtzeit-Fernidentifizierungssysteme im öffentlichen Raum,
• die biometrische Kategorisierung auf der Grundlage sensibler Merkmale sowie
• das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungskameras für Gesichtserkennungsdatenbanken. 

KI-Kompetenz

KI-Kompetenz bezeichnet die Fähigkeiten, die Kenntnisse und das Verständnis, um KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden. Betreiber und Anbieter von KI-Systemen haben sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen. Dabei müssen sowohl technische Kenntnisse und der Kontext, in dem die KI-Systeme eingesetzt werden, als auch die betroffenen Personen(gruppen) berücksichtigt werden.  Unternehmen, die KI-Systeme einsetzen, müssen also sicherstellen, dass alle Mitarbeiter:innen und Personen, die an der Nutzung von KI-Systemen beteiligt sind, über die jeweils erforderlichen Qualifikationen verfügen. Das Personal muss also gemäß den jeweiligen Umständen und Erfordernissen geschult und für die Tücken von KI-Anwendungen sensibilisiert werden.

Hochrisiko-KI-Systeme

Ein besonderes Augenmerk gilt demnächst den sogenannten „Hochrisiko-KI-Systemen, die auf Grund ihrer umfassenden technischen Möglichkeiten ein besonderes Risiko für Gesundheit, Sicherheit und Grundrechte (einschließlich Datenschutz) darstellen können. Dazu gehören unter anderem Bewerbungssysteme sowie Systeme, die automatisierte Entscheidungen im Arbeitsverhältnis wie Leistungsbeurteilung und Verhaltensbeobachtung ermöglichen. Diese stellen eine besondere Gefahr im Arbeitsverhältnis dar, da sie überschießende Kontrolle und Aufsicht sowie Eingriffe in die Menschenwürde ermöglichen können. Hersteller und Betreiber unterliegen deshalb u.a. hinsichtlich Datennutzung, Risikomanagement, menschlicher Aufsicht, Dokumentation und Transparenz von KI-Systemen strengen Verpflichtungen. Die KI-Verordnung wird diesbezüglich am 2. August 2026 anwendbar.

Durchsetzung im Arbeitskontext

Die KI-VO ist eine Produktsicherheitsvorschrift und stellt im Bereich der Arbeitswelt keine Vollharmonisierung dar. Das bedeutet, die nationalen Arbeitsrechtsvorschriften, somit die Arbeitnehmer:innenrechte und die Mitbestimmung durch die Interessenvertretung, die Regelungen zum Datenschutz oder der Sozialpolitik gelten auch beim Einsatz von KI-Systemen am Arbeitsplatz. Die zuständigen österreichischen Behörden müssen die Verbote und die Pflichten aus der KI-Verordnung durchsetzen, damit die Bestimmungen Arbeitnehmer:innen tatsächlich schützen. Dafür müssen auch sie über Personal mit ausreichend Fachwissen verfügen, die KI-Systeme einschätzen und überprüfen können.

AK Forderungen

Die AK fordert in diesem Zusammenhang:

• Eine grundrechtskonforme Ausgestaltung der KI-Verordnung sowie den Ausbau von Arbeitnehmer:innenschutzrechten, etwa zur Wahrung des Persönlichkeitsrechts, Datenschutzrechts und zur Sicherstellung des Schutzes vor unverhältnismäßiger Überwachung am Arbeitsplatz.
• Sicherstellung von Zustimmungs- und Mitwirkungsrechten der Arbeitnehmer:innen sowie ihrer (über)betrieblichen Interessenvertretungen (auch in Bereichen, die nicht von der KI-VO erfasst sind).
• Sensibilisierung in Bezug auf die durch KI entstehenden Gefahren und Schäden.
• Förderung der KI-Kompetenz auf allen Ebenen.
• Klarstellung der Kostenübernahme durch den:die Arbeitgeber:in für Beiziehung von speziellem (Informationstechnologie-)Fachwissen.
• Förderung der (betrieblichen) Qualifizierungsprogramme.