Polski użytkownik rzadko myśli o tym, że kiedy rozmawia z chatbotem, za kulisami może działać osobny klasyfikator bezpieczeństwa. To taki pas bezpieczeństwa: ma rozpoznać mowę nienawiści, przemoc, treści seksualne, przestępczość albo samouszkodzenia i pomóc systemowi zareagować odpowiedzialnie. Problem polega na tym, że pas zaprojektowany dla innego języka może źle leżeć.
Praca Bielik Guard opublikowana na arXiv opisuje rodzinę kompaktowych polskich klasyfikatorów bezpieczeństwa. Modele mają wersje 0,1 mld i 0,5 mld parametrów, trenowane na społecznościowo anotowanym zbiorze 6 885 polskich tekstów. Klasyfikują pięć kategorii: nienawiść/agresję, wulgaryzmy, treści seksualne, przestępczość i samouszkodzenia.
Liczby są ciekawe, ale trzeba je przełożyć na życie. Wersja 0,5B ma według autorów najlepszą ogólną zdolność rozróżniania, z F1 micro 0,791 i F1 macro 0,785 na zestawie testowym. Mniejsza wersja 0,1B v1.1 osiąga 77,65 proc. precision i bardzo niski false positive rate 0,63 proc. na realnych promptach użytkowników, przy przewadze nad HerBERT-PL-Guard w tym porównaniu.
Co naprawdę się zmienia
Precision mówi w uproszczeniu, jak często system ma rację, gdy twierdzi, że coś jest problematyczne. False positive rate mówi, jak często blokuje coś niewinnego. Dla zwykłego użytkownika różnica jest ogromna. Zbyt słaby system przepuści szkodliwe treści. Zbyt nerwowy system będzie blokował normalne pytania, żarty, cytaty albo rozmowy o trudnych sprawach.
To szczególnie ważne w kategoriach takich jak samouszkodzenia. Autorzy podkreślają, że modele mają wspierać odpowiednie reakcje, a nie tylko proste blokowanie. To jest różnica między cyfrową bramką a narzędziem pomocy. Jeśli ktoś pisze po polsku o kryzysie psychicznym, system powinien rozpoznać kontekst i poprowadzić odpowiedź ostrożnie, a nie zamknąć rozmowę.
Polszczyzna jest trudna dla narzędzi moderacyjnych także przez ironię, fleksję, slang, skróty, mieszanie angielskiego i lokalne konteksty polityczne. Wyrażenie agresywne w jednym kontekście może być cytatem albo opisem zjawiska w innym. Dlatego lokalne dane i lokalne testy są czymś więcej niż patriotycznym dodatkiem. Są warunkiem mniejszej liczby błędów.
Gdzie jest koszt i ryzyko
Drugi kontekst daje PL-Guard, benchmark bezpieczeństwa dla polskiego. Jego autorzy wskazują, że globalne narzędzia bezpieczeństwa są często skoncentrowane na angielskim i językach wysokozasobowych. To tworzy nierówność jakości: użytkownicy mniejszych języków dostają AI, ale czasem z gorszym systemem ochrony albo z ochroną niedostosowaną kulturowo.
Dla firm wdrażających AI w Polsce to bardzo praktyczna sprawa. Bank, szkoła, urząd, sklep internetowy albo platforma edukacyjna nie może polegać wyłącznie na tym, że model bazowy jakoś rozumie polski. Jeśli system ma kontakt z klientami, uczniami albo pacjentami, potrzebuje warstwy bezpieczeństwa, którą da się testować na polskich danych.
Wdrożenie takiego narzędzia nie powinno jednak oznaczać automatycznego wycinania trudnych tematów. Polski klasyfikator bezpieczeństwa może być użyty dobrze albo źle. Dobrze, gdy pomaga rozpoznać ryzyko i dobrać odpowiedź. Źle, gdy staje się czarną skrzynką, która bez wyjaśnienia odrzuca treści użytkownika, a organizacja chowa się za wynikiem modelu.
Co warto obserwować
Dlatego obok modeli potrzebne są benchmarki, dokumentacja i audyt. Organizacja powinna wiedzieć, na jakich danych narzędzie było testowane, gdzie ma największą skuteczność, a gdzie najczęściej się myli. W polskim kontekście ważne są również mniejszości językowe, regionalizmy, język młodzieżowy i sposoby obchodzenia filtrów. Bez tego system będzie dobry w laboratorium, ale słabszy w realnym internecie.
Jest jeszcze kwestia edukacji użytkowników. Jeżeli chatbot odpowiada ostrożniej na temat samouszkodzeń albo przemocy, użytkownik powinien rozumieć, że nie chodzi o moralizowanie maszyny, tylko o procedurę bezpieczeństwa. Przejrzystość reakcji może zmniejszyć frustrację i zwiększyć zaufanie. Model bezpieczeństwa nie powinien być policjantem bez twarzy, lecz elementem odpowiedzialnej usługi.
Warto też zobaczyć aspekt kosztowy. Kompaktowy klasyfikator może działać taniej i szybciej niż wielki model używany do każdej decyzji moderacyjnej. To ma znaczenie dla mniejszych organizacji, które nie mają budżetu wielkich platform. Bez takich narzędzi bezpieczeństwo AI może stać się luksusem dużych firm.
Bielik Guard nie rozwiązuje wszystkich problemów moderacji. Żaden klasyfikator nie zrozumie w pełni społecznego kontekstu, żaden wynik F1 nie zastąpi odpowiedzialnej procedury odwoławczej, a żaden model nie powinien sam decydować o granicach debaty publicznej. Ale pokazuje ważny kierunek: polski internet potrzebuje narzędzi zbudowanych dla polskiego języka, nie tylko przetłumaczonych z angielskiego.
W szkołach, urzędach i firmach taki klasyfikator może działać jak pierwsza linia porządkująca zgłoszenia, ale nie jak wyrok. Najlepsze wdrożenie będzie takie, w którym model odciąża ludzi od masy powtarzalnych sygnałów, a jednocześnie trudne przypadki trafiają do człowieka z kontekstem, historią decyzji i możliwością korekty.