W procesie obsługi reklamacji chatboty mogą automatycznie odpowiadać na pytania klientów, generować zgłoszenia i informować klientów o stanie sprawy. Oczywiste korzyści to przyspieszenie obsługi, zwiększenie efektywności i dostępność 24/7.

Jakie są mniej oczywiste ryzyka? Nieodpowiednio opracowany chatbot zaczyna zmyślać, rozpisuje się na tematy niezwiązane z obsługą klienta, a nawet przeklina¹. Nie tylko szkodzi to marce i relacji z klientem, ale może skutkować pieniężną karą administracyjną. Podstaw ku temu można szukać zarówno w AI Act, jak i ustawie o ochronie konkurencji i konsumentów².

Poniżej opisuję skąd bierze się ryzyko kary i jak je ograniczyć.

Pierwsza praktyka zakazana w zakresie AI

Od 4 lutego 2025 r. obowiązuje art. 5 AI Act, który zakazuje określonych praktyki w zakresie AI. AI Act przewiduje kary do wysokości 35 milionów Euro lub do 7% rocznego obrotu. Przepisy o karach zaczną obowiązywać od 2 sierpnia 2025 r.

Zakazane są systemy AI, które stosują techniki podprogowe będące poza świadomością danej osoby lub celowe techniki manipulacyjne lub wprowadzające w błąd, mające na celu lub skutkujące zniekształceniem zachowań, powodujące lub mogące powodować poważną szkodę³.

Na czym właściwie polega zakazana praktyka?

Definicja tej praktyki zawiera wiele pojęć wymagających oceny wartościującej np. “znacząca zmiana zachowania”, “znaczące ograniczenie”, “poważną szkodę”. Również hipotetyczne skutki są brane pod uwagę przy jej ocenie (“wyrządza lub może wyrządzić”). Dodatkowo definicja każe nam zapytać: co by było gdyby techniki nie były stosowane? Czy decyzja byłaby taka sama? Jest to rozwiązanie bardzo podobne do użytego w dyrektywie o nieuczciwych praktykach rynkowych, w której jedną z przesłanek uznania praktyki za nieuczciwą jest stwierdzenie, że “powoduje lub może powodować podjęcie przez przeciętnego konsumenta decyzji dotyczącej transakcji, której inaczej by nie podjął”. Wytyczne Komisji Europejskiej opisując pojęcie “znaczącej zmiany zachowania” odwołują się właśnie do ww. dyrektywy oraz wytycznych i orzecznictwa do niej. Cały zakaz jest silnie powiązany z istniejącymi już normami prawa unijnego, bo także w kontekście oceny szkody Wytyczne KE odsyłają do orzecznictwa Trybunału Sprawiedliwości UE.

Aby zrozumieć czym są techniki podprogowe, manipulacyjne i wprowadzające w błąd trzeba będzie sięgnąć nie tylko Wytycznych KE, ale również cytowanej w Wytycznych KE literatury.

Przykład

Zafascynował mnie przykład takiej praktyki, który pada w Wytycznych KE: “gra może wykorzystywać technologie neuroinformatyczne wspomagane przez sztuczną inteligencję oraz interfejsy mózg-maszyna, które pozwalają użytkownikom kontrolować (części) gry za pomocą nakrycia głowy wykrywającego aktywność mózgu. Sztuczna inteligencja może być używana do potajemnego trenowania mózgu użytkownika bez jego wiedzy, aby ujawniać lub wnioskować z danych neuronalnych informacje, które mogą być wyjątkowo inwazyjne i wrażliwe (np. dane bankowe, informacje intymne itp.), w sposób mogący wyrządzić im znaczną szkodę. Przyznam szczerze, że nie wiedziałem czy to science fiction, czy z życia wzięty przykład, ale wygooglowałem i okazało się, że z pogranicza obu światów.

Jak będzie to wyglądać w praktyce?

Biorąc pod uwagę konstrukcję tego zakazu, użyte pojęcia oraz podobieństwo do nieuczciwych praktyk rynkowych, spodziewam się, że jeżeli system AI stosuje techniki podprogowe lub manipulacyjne, to organy nadzoru z miejsca uznają go za zakazany nie wchodząc w szczegółową analizę pozostałych przesłanek. Nie stanie temu na przeszkodzie motyw 29 AI Act, gdzie wskazano, że “powszechne i zasadne praktyki handlowe, na przykład w dziedzinie reklamy, które są zgodne z mającym zastosowanie prawem, nie powinny być same w sobie uznawane za szkodliwe praktyki manipulacyjne oparte na AI”. Nie staną temu na przeszkodzie także Wytyczne KE, które nakazują organom nadzoru badać fakty i okoliczności szczególne dla danej sprawy. 

Dla wszystkich wdrażających systemy AI w tym chatboty do obsługi klientów istotne będzie jednak podejście organów do systemów, które stosują techniki wprowadzające w błąd ponieważ…

Zakaz dotyczy również systemów AI, które nie zostały celowo zaprojektowane jako manipulujące lub wprowadzające w błąd

Oznacza to, że dostawcy i podmioty stosujące systemy AI muszą pilnować aby ich systemy takich technik nie stosowały. Jednocześnie w Wytycznych KE wskazano, że nie dotyczy to systemów genAI, które ze swej natury „halucynują”. Wytyczne KE wskazują jednak, że powinno się informować użytkowników o ograniczeniach systemu AI i stosować mechanizmy zapobiegawcze. Dlatego tak istotne będzie pilnowanie aby chatboty udostępniane klientom nie zmyślały, trzymały się tematu, a jeżeli nie potrafią odpowiedzieć na pytanie, przekierowywały do ludzkiego asystenta.

Z doniesień z prac komisji sejmowych wynika, że Prezes Urzędu Ochrony Konkurencji i Konsumentów, planuje weryfikować, jak wdrożone przez przedsiębiorców mechanizmy obsługi klienta funkcjonują i czy przypadkiem nie wprowadzają konsumentów w błąd. Takie wprowadzanie w błąd mogłoby stanowić zakazaną praktykę rynkową (o czym na końcu), a tym samym praktykę naruszającą zbiorowe interesy konsumentów. Stosowanie takiej praktyki podlega karze do 10% obrotu za poprzedni rok obrotowy.

Jak oduczyć AI zmyślania i ograniczyć ryzyko?

Konieczne będzie zastosowanie, którego z dostępnych rozwiązań takich jak RAG, structure prompting lub zapewnienie audytowalności rozwiązania.

Jak wskazują Wytyczne, to wszystko jednak może być jednak niewystarczające w przypadku systemów wykorzystywanych w ochronie zdrowia, edukacji lub wyborczych.

Podsumowanie

Podsumowując, spodziewam się, że każdy system AI stosujący techniki podprogowe lub manipulacyjne będzie podejrzany i najprawdopodobniej uznany za zakazany.

Istotne dla wdrażających chatboty do obsługi klientów będzie dopilnowanie aby ich systemy AI nie stosowały technik wprowadzających w błąd, ponieważ nawet niecelowe stosowanie takich praktyk jest objęte zakazem. 

Aby ustrzec się przed tym należy wprowadzać mechanizmy przeciwdziałające oraz wyjaśniać użytkownikom, że systemy AI mogą się mylić. To jednak może być zbyt mało w przypadku systemów wykorzystywanych w ochronie zdrowia, edukacji lub wyborczych.

Jeżeli ciekawi Cię temat, którego nie opisałem albo masz dodatkowe pytania, napisz do mnie. Możesz też sprawdzić bazę wiedzy Kancelarii JDP.

Na marginesie

Moim zdaniem korzystanie przez przedsiębiorcę w relacjach z konsumentami z systemu AI stosującego zakazane techniki będzie również uznane za nieuczciwą praktykę rynkową, na co zdaje się wskazywać motyw 29 AI Act. Taka kwalifikacja ułatwia dochodzenie roszczeń przez konsumentów. Polscy konsumenci bardzo rzadko pozywają za stosowanie nieuczciwej praktyki rynkowej, a zwalczanie takich praktyk pozostaje domeną Prezesa UOKiK. Z roszczeniem o zaniechanie praktyki, złożenie publicznie przeprosin i zasądzenie odpowiedniej sumy pieniężnej na określony cel społeczny może jednak wystąpić także organizacja, której celem statutowym jest ochrona interesów konsumentów. To ostatnie wydaje się bardziej prawdopodobne, biorąc pod uwagę funkcjonowanie takich organizacji jak NOYB czy Panoptykon. Tylko czym są roszczenia konsumentów, czy organizacji w obliczu kary do 35 milionów Euro lub 7% rocznego obrotu?

1. Historia DPD ku przestrodze: Chatbot DPD oszalał. Zwyzywał klienta i obraził firmę – Komputer Świat. ↩︎
2. Ustawa z dnia 16 lutego 2007 r. o ochronie konkurencji i konsumentów Dz.U. 2007 Nr 50 poz. 331. ↩︎
3. Dla porządku poniżej definicja praktyki z art. 5(1)(a) AI Act rozbita w punktach, dla ułatwienia zrozumienia:
   Wprowadzanie do obrotu, oddawanie do użytku lub korzystanie z systemu AI, który 
   stosuje techniki
   podprogowe będące poza świadomością danej osoby lub
   celowe techniki manipulacyjne lub 
   wprowadzające w błąd,
   czego celem lub skutkiem jest dokonanie znaczącej zmiany zachowania danej osoby lub grupy osób poprzez znaczące ograniczenie ich zdolności do podejmowania świadomych decyzji, powodując tym samym podjęcie przez nie decyzji, której inaczej by nie podjęły,
   czym wyrządza lub może wyrządzić u niej, u innej osoby lub u grupy osób poważną szkodę. ↩︎