O jakie kwestie prawne powinien zadbać dostawca systemu AI wspomagającego diagnostykę chorób płuc? Jakie obowiązki wynikają dla niego z RODO, a jakie z AI Act? Jak AI Act zmienia wymogi w zakresie certyfikacji wyrobów medycznych w ramach MDR i IVDR? Na te pytania postaram się odpowiedzieć w poniższym wpisie.

1. Przetwarzanie danych osobowych.

Zgodnie z zasadą minimalizacji danych, zakres przetwarzanych danych osobowych powinno się ograniczyć do niezbędnego minimum. Dlatego, o ile to możliwe, do uczenia modeli AI należy korzystać z opcji anonimizacji lub pseudonimizacji danych.

Co zrobić, jeżeli do nauki modelu AI niezbędne jest wykorzystanie dużych zbiorów danych zawierających dane osobowe dotyczące zdrowia?

Konieczne jest zapewnienie odpowiedniej ochrony przetwarzanych danych, wymaganej w szczególności przez RODO. Należy przy tym pamiętać o następujących obowiązkach:

• zapewnienia odpowiedniej podstawy prawnej
• uzupełnienia rejestrów czynności przetwarzania
• przeprowadzenia oceny skutków dla ochrony danych osobowych (DPIA)
• informacyjnym.

Obowiązki te mogą być bardzo uciążliwe, np. pozyskiwanie zgód na przetwarzanie danych o zdrowiu od wielu osób czy przeprowadzenie dokładnej oceny skutków dla ochrony danych osobowych. Dlatego już na etapie ideizacji warto zaprojektować podejście do ochrony danych osobowych zgodnie z zasadą privacy by design.

W kontekście przetwarzania danych i data governance AI Act wymaga, aby systemy AI wysokiego ryzyka były rozwijane przy użyciu wysokiej jakości zbiorów danych do szkolenia, walidacji i testowania. Zbiory danych powinny być odpowiednio zarządzane, uwzględniając takie czynniki jak procesy zbierania, przygotowania danych, potencjalne uprzedzenia i luki w danych. Zbiory danych powinny być jak najbardziej odpowiednie, reprezentatywne, wolne od błędów i kompletne. Należy także uwzględnić specyficzny kontekst, w jakim system AI będzie wykorzystywany. W niektórych przypadkach dostawcy mogą przetwarzać szczególne kategorie danych osobowych w celu wykrycia i skorygowania uprzedzeń, ale muszą przestrzegać ścisłych warunków ochrony praw i wolności osób.

Dostawca systemu AI powinien również spojrzeć na przetwarzanie danych osobowych z perspektywy korzystających z systemu. Dzięki temu będzie w stanie zaoferować im wartość w postaci zabezpieczenia ich interesu polegającego na zapewnieniu zgodności z prawem (compliance). Dostawca może np. przygotować wzorcową analizę oceny skutków dla ochrony danych osobowych (DPIA), którą jego klienci mogliby się posłużyć, dokonując własnej.

2. Zgodność z wymogami AI Act dla systemów wysokiego ryzyka 

Systemy AI w branży medtech mogą stanowić systemy wysokiego ryzyka z AI Act.

Po pierwsze, systemy AI wysokiego ryzyka stanowią systemy AI będące wyrobami medycznymi (zgodnie z MDR) lub wyrobami medycznymi do diagnostyki in-vitro (zgodnie z IVDR) podlegające ocenie zgodności przez niezależny podmiot (jednostkę notyfikowaną).

Po drugie, specyficzne przypadki wykorzystania mogą kwalifikować się jako systemy wymienione w Aneksie III do AI Act. Systemy AI wymienione w Załączniku III są uznawane za systemy wysokiego ryzyka, chyba że nie stwarzają istotnego zagrożenia dla zdrowia, bezpieczeństwa i praw osób. Dostawcy, którzy uważają, że ich system AI nie jest wysokiego ryzyka, muszą udokumentować swoją ocenę przed jego sprzedażą lub wdrożeniem.

Przykłady: 

• systemy oceny i priorytetyzacji połączeń alarmowych
• systemy triażu pacjentów w stanach nagłych
• systemy określania uprawnień do świadczeń zdrowotnych

Dostawcy systemów AI wysokiego ryzyka mają szereg obowiązków, w szczególności:

1. Wdrożyć system zarządzania jakością zgodny z AI Act (art. 17).​
2. Prowadzić dokumentację techniczną i przechowywać ją przez 10 lat (art. 18).​
3. Zapewnić przejrzystość działania systemu AI, w tym wyjaśnialność decyzji dla użytkowników końcowych (art. 13).​
4. Zaprojektować system sztucznej inteligencji wysokiego ryzyka w sposób umożliwiający użytkownikom wdrożenie nadzoru ludzkiego (art. 14).​
5. Spełnić wymogi dotyczące cyberbezpieczeństwa, dokładności i solidności systemu (art. 15).​
6. Zarejestrować system AI w unijnym rejestrze wysokiego ryzyka (art. 49).

Wprawdzie przepisy AI Act dotyczące systemów AI wysokiego ryzyka będących wyrobami medycznymi podlegającymi ocenie zgodności przez jednostki notyfikowane wejdą w życie dopiero 2 sierpnia 2027¹, jednak przygotowanie do ich spełnienia to dłuższy proces, który trzeba rozpocząć wcześniej.

3. Certyfikacja w ramach AI Act i MDR/IVDR

AI Act wymaga, aby dostawca systemu AI wysokiego ryzyka, który jest jednocześnie wyrobem medycznym postępował zgodnie z odpowiednią procedurą oceny zgodności wymaganą na podstawie MDR lub IVDR. Procedura ta powinna uwzględniać również weryfikację wymogów wobec systemów AI wynikających z AI Act. W praktyce może to być trudne, ponieważ jednostki notyfikowane muszą być uprawnione do oceny zgodności zarówno według MDR/IVDR, jak i AI Act².

Wiele z wymagań przewidzianych przez AI Act jest już objęte procedurami oceny zgodności zgodnie z MDR i IVDR, które są wykonywane przez jednostki notyfikowane. Metodologie MDR i AI Act w zakresie obowiązków, które zrealizować musi producent wyrobu medycznego czy dostawca systemu AI wysokiego ryzyka, są przy tym podobne – obie regulacje skupiają się na podobnych etapach cyklu życia produktu i regulują te obowiązki w podobny sposób.

Regulacje MDR i AIA będą się na siebie nakładać w szczególności w następujących istotnych obszarach:

• wymogi dotyczące jakości danych wykorzystywanych do trenowania, walidacji i testowania systemu AI;
• metodologia oceny działania / oceny klinicznej systemu AI;
• system zarządzania jakością;
• dokumentacja techniczna;
• bezpieczeństwo i przejrzystość działania, kontrola użytkowników nad działaniem systemu AI będącego wyrobem medycznym;
• cyberbezpieczeństwo i bezpieczeństwo danych;
• zarządzanie zmianą.

Podsumowanie

AI Act dokłada do RODO, MDR i IVDR kolejną warstwę wymogów w zakresie wyrobów medycznych, w tym oprogramowania, wykorzystujących AI. Zapewnienie zgodności z obowiązkami regulacyjnymi wymaga kompleksowej analizy prawnej już na etapie tworzenia rozwiązań z wykorzystaniem AI i ciągłego monitorowania na dalszych etapach.

Jeżeli ciekawi Cię temat, którego jeszcze nie opisałem albo masz dodatkowe pytania, napisz do mnie. Możesz też sprawdzić bazę wiedzy Kancelarii JDP.

1. Drugi opisywany przypadek, czyli systemy AI wymienione w Aneksie III do AI Act będą podlegać przepisom AI Act od 2 sierpnia 2026 r., kiedy to przepisy te wejdą w życie ↩︎
2. art. 43 ust. 3 AI Act: W przypadku systemów AI wysokiego ryzyka objętych zakresem stosowania unijnego prawodawstwa harmonizacyjnego wymienionego w załączniku I sekcja A, dostawca postępuje zgodnie z odpowiednią procedurą oceny zgodności wymaganą na podstawie tych aktów prawnych. W odniesieniu do tego rodzaju systemów AI wysokiego ryzyka zastosowanie mają wymogi ustanowione w sekcji 2 niniejszego rozdziału i stanowią one jeden z elementów tej oceny. Zastosowanie mają również przepisy załącznika VII pkt 4.3, pkt 4.4, pkt 4.5 i pkt 4.6 akapit piąty. Na potrzeby tej oceny jednostki notyfikowane, które notyfikowano zgodnie z tymi aktami prawnymi, są uprawnione do przeprowadzania kontroli zgodności systemów AI wysokiego ryzyka z wymogami ustanowionymi w sekcji 2, o ile zgodność tych jednostek notyfikowanych z wymogami ustanowionymi w art. 31 ust. 4, 5, 10 i 11 została oceniona w kontekście procedury notyfikacyjnej przewidzianej w tych aktach prawnych ↩︎