Největším rizikem AI je člověk

V předchozích částech našeho seriálu jsme si ukázali praktický návod pro práci s umělou inteligencí na radnici, uvedli několik promptů, a tak víme, že umělá inteligence (AI) může starostovi přečíst padesátistránkový materiál, připravit jej na zastupitelstvo, hledat slabiny investičního projektu, analyzovat rozpočet nebo sehrát nepříjemného novináře.

Teď přichází méně zábavná část. Co bychom do AI zadávat neměli. Odpověď není tak jednoduchá, jak by se mohlo zdát. Nelze totiž říci, že do umělé inteligence nesmějí přijít žádné osobní údaje, žádné smlouvy nebo žádné interní dokumenty. Záleží na konkrétním nástroji, smluvních podmínkách, nastavení služby, účelu zpracování, zabezpečení i pravidlech konkrétní obce.

Jiná situace je, když si starosta otevře bezplatnou veřejně dostupnou službu a vloží do ní dokument. Jiná, pokud obec používá organizací řízené podnikové prostředí se smluvně upraveným zpracováním dat, správou uživatelů a nastavenými bezpečnostními pravidly.

Proto bych na radnici zavedl mnohem praktičtější pravidlo: Než něco vložím do AI, měl bych vědět, komu tím data fakticky svěřuji. Pokud to nevím, chovám se k nástroji jako k externímu prostředí.

První červená: osobní údaje

Představme si poměrně nevinnou situaci. Starostovi přijde dlouhý e-mail občana. Obsahuje jméno, adresu, telefonní číslo a popis sousedského sporu. Starosta nechce půl hodiny formulovat odpověď, a tak celý e-mail zkopíruje do veřejného nástroje AI a napíše: „Odpověz mu slušně.“

Technicky to funguje skvěle. Z hlediska nakládání s informacemi už to tak samozřejmé není. Obec je správcem celé řady osobních údajů a musí být schopna obhájit, komu je zpřístupňuje, za jakým účelem a za jakých podmínek. Použitím externího AI systému tato povinnost nezmizí.

Praktické řešení přitom často není složité. Pro vytvoření odpovědi AI zpravidla nepotřebuje vědět, že pisatelem je Jan Novák, narozený 12. dubna 1968, bytem v ulici Jabloňová 28. Stačí: „Občan si stěžuje na opakovaný hluk z provozovny sousedící s jeho domem…“

Pro kvalitu výsledku se téměř nic nezmění. Pro ochranu soukromí ano. První pracovní zásada proto zní: Co AI nepotřebuje znát, to jí neposkytujte.

Druhá červená: zvlášť citlivé informace

Ještě vyšší opatrnost je namístě u údajů, které vypovídají například o zdravotním stavu, sociální situaci nebo jiných velmi soukromých poměrech konkrétních osob.

Radnice přitom právě s takovými informacemi přicházejí do styku. Mohou se objevit ve stížnostech, personálních dokumentech, sociální agendě, žádostech občanů nebo materiálech vztahujících se ke konkrétním životním situacím.

Tady bych starostovi doporučil velmi jednoduchý test. Vadilo by mi, kdybych tento dokument omylem poslal neznámému člověku mimo úřad? Pokud je odpověď ano, neměl bych jej bez dalšího nahrávat ani do externího AI nástroje, jehož režim nemám ověřen.

Není to právní definice. Je to bezpečnostní reflex. A právě reflexy jsou v každodenním provozu radnice důležité.

Třetí červená: personální agenda

Umělá inteligence dokáže velmi dobře porovnat životopisy, vytvořit otázky k pohovoru, upravit pracovní inzerát nebo připravit hodnoticí formulář. Právě proto svádí k použití v personální oblasti. Představme si zadání: „Tady je deset životopisů uchazečů o místo vedoucího odboru. Vyber mi tři nejlepší.“ Takové zadání je problematické hned několika způsoby.

Nejen kvůli osobním údajům uchazečů. AI může při hodnocení pracovat s kritérii, která jsme jí nezadali, nebo vytvořit zdání objektivního pořadí tam, kde žádná objektivní matematická pravda neexistuje.

Umělá inteligence může pomoci může pomoci připravit kritéria výběru. Může z anonymizovaných podkladů vytvořit strukturu porovnání. Může připravit otázky k pohovoru. Neměla by se však stát černou skříňkou, do které vložíme deset lidí a ze které vypadne pořadí jedna až deset. Technologie může podporovat rozhodnutí. Odpovědnost za personální rozhodování musí zůstat tam, kam patří.

Čtvrtá červená: neveřejné materiály

Na radnici existuje mnoho dokumentů, které sice neobsahují osobní údaje, ale přesto nejsou určeny veřejnosti. Připravovaná vyjednávací strategie. Nabídka dodavatele. Interní právní stanovisko. Podklady před dokončením veřejné zakázky. Informace o plánované majetkové transakci. Bezpečnostní dokumentace. Materiál, který má být teprve projednán. A právě zde vzniká nebezpečný psychologický klam. Dokument neobsahuje osobní údaje, takže máme pocit, že je bezpečný.

Jenže GDPR není jediným důvodem, proč mají některé informace zůstat uvnitř organizace. Před vložením interního dokumentu do externí AI služby by si proto měl uživatel položit jinou otázku: Mohl bych tento dokument bez dalšího poslat externí firmě? Pokud ne, proč bych jej bez rozmyslu předával provozovateli technologické služby?

Pátá červená: obchodní tajemství a nabídky dodavatelů

Zvláštní opatrnost zasluhují dokumenty třetích osob. Obec dostane nabídku společnosti, technické řešení, cenovou kalkulaci nebo jiný materiál a zaměstnanec jej nahraje do AI s požadavkem: „Porovnej mi tuto nabídku s ostatními.“

Z hlediska produktivity výborné.

Z hlediska správy informací může být situace podstatně komplikovanější. Obec totiž nerozhoduje pouze o svých informacích. Může mít v dispozici informace, které jí poskytl někdo jiný a jejichž další zpřístupnění je omezeno právem, smlouvou nebo samotnou povahou informace.

U veřejných zakázek navíc mohou existovat další důvody, proč s obsahem nabídek zacházet velmi obezřetně.

To neznamená, že AI nelze při porovnávání nabídek využít. Znamená to, že nejdříve řešíme režim dat a teprve potom pohodlí uživatele.

Šestá červená: přístupová hesla a bezpečnostní informace

Sem už patří jednoznačnější zákaz. Do běžného AI chatu nepatří hesla, PINy, API klíče, přístupové tokeny ani jiné autentizační údaje. Stejně obezřetně je třeba zacházet s detailními informacemi o zabezpečení informačních systémů, konfiguraci infrastruktury, zranitelnostech, přístupových mechanismech nebo bezpečnostních incidentech.

Někdo může namítnout: „Ale potřebuji, aby mi AI poradila s konfigurací.“

To samozřejmě může. Většinou však nepotřebuje skutečné heslo ani všechny konkrétní údaje o infrastruktuře.

Opět tedy platí stejné pravidlo: Poskytnout jen tolik informací, kolik je nezbytné k vyřešení úkolu.

Sedmá červená: „AI říká, že podle zákona…“

Druhá skupina rizik se netýká toho, co do AI vložíme, ale toho, co z ní vyjde.

A tady může být situace ještě nebezpečnější. Jazykový model má jednu vlastnost, na kterou si veřejná správa musí zvykat. Dokáže formulovat nesprávnou odpověď způsobem, který působí mimořádně přesvědčivě. Představme si, že se starosta zeptá:

• „Může o této smlouvě rozhodnout rada obce?“

AI odpoví:

• „Ano, podle § XY zákona o obcích…“

Odpověď zní odborně. Obsahuje paragraf. Možná dokonce přidá judikát. Jenže paragraf může upravovat něco jiného. Judikát může být vytržen z kontextu, zastaralý nebo v krajním případě vůbec nemusí existovat. Ve veřejné správě je proto velmi nebezpečné zaměnit přesvědčivost odpovědi za její správnost.

U právních otázek bych používal například zadání: „U každého právního závěru uveď konkrétní ustanovení právního předpisu. Rozliš, co vyplývá přímo ze zákona a co je tvoje interpretace. Pokud uvádíš judikaturu, napiš soud, datum rozhodnutí a spisovou značku. Pokud si existencí zdroje nejsi jistý, výslovně to přiznej.“

A potom? Potom zákon nebo judikát skutečně otevřít.

Osmá červená: číslo vypadá přesně, a proto mu věříme

Podobný problém nastává u ekonomických analýz. AI může napsat: „Provozní náklady vzrostly o 17,4 %.“ Číslo působí přesně. To ovšem neznamená, že je správné. Mohla špatně interpretovat tabulku, zaměnit rok, zahrnout mezisoučet, přehlédnout změnu metodiky nebo použít nesprávný základ výpočtu.

U významnější analýzy proto doporučuji nechat si ukázat postup: „U každého procentního výpočtu uveď výchozí hodnotu, konečnou hodnotu a použitý výpočet.“ Najednou lze výsledek podstatně snadněji zkontrolovat.

Veřejná správa by měla k číslům vytvořeným AI přistupovat stejně jako k číslům vytvořeným člověkem. Kontrolovat je.

Devátá červená: automatické rozhodování o lidech

Představme si několik budoucích použití. AI vyhodnotí žádosti občanů a určí, které jsou „podezřelé“.

• Seřadí žadatele o podporu.
• Vyhodnotí uchazeče o zaměstnání.
• Doporučí, komu má obec něco přidělit.

Tady se už dostáváme daleko za hranici obyčejného psaní textů.

Evropská regulace umělé inteligence staví některé způsoby využití AI do podstatně přísnějšího režimu a pro veřejnou správu bude důležité rozlišovat mezi běžným kancelářským použitím generativní AI a systémy, které ovlivňují rozhodování o konkrétních lidech.

Starosta nemusí znát všechny kategorie evropského AI Actu zpaměti. Měl by ale poznat okamžik, kdy už nejde o:

• „Pomoz mi napsat text.“

ale o:

• „Pomoz mi rozhodnout o člověku.“

V takové chvíli je třeba zbystřit.

Veřejný účet není totéž, co organizací řízené prostředí

Jednou z největších chyb by bylo vytvořit na radnici jednoduché pravidlo: „ChatGPT je bezpečný.“ Nebo naopak: „ChatGPT je nebezpečný.“ Stejně nesmyslné by bylo říci totéž obecně o Copilotu, Gemini nebo jiné službě. Rozhodující není pouze jméno produktu.

Podstatné je, v jakém režimu jej obec používá. Jaké platí smluvní podmínky? Jak jsou data zpracovávána? Jsou používána pro další účely? Kdo má účet pod kontrolou? Lze centrálně spravovat uživatele? Jak dlouho jsou data uchovávána? Kde jsou zpracovávána? Jaké možnosti má správce organizace? Co se stane s účtem, když zaměstnanec odejde?

To jsou otázky, které by obec měla vyřešit systémově. Nemá smysl chtít po každém referentovi, aby před každým použitím AI studoval desítky stran obchodních podmínek. To je úloha organizace.

Tři barvy místo padesátistránkové směrnice

Kdybych měl zavádět pravidla AI na menší radnici, nezačínal bych padesátistránkovou směrnicí. Začal bych semaforem.

• Zelená. Veřejně dostupné informace, obecné texty, anonymizované podklady, příprava osnov, stylistické úpravy, brainstorming, veřejná data, příprava otázek nebo vysvětlení obecného problému.
• Oranžová. Interní dokumenty, smlouvy, ekonomické podklady, pracovní materiály, nabídky, údaje o zaměstnancích a další informace, u nichž je třeba nejprve posoudit konkrétní nástroj, jeho režim a případně data anonymizovat.
• Červená. Hesla a přístupové údaje, informace významné pro kybernetickou bezpečnost, citlivé osobní informace, neveřejné údaje, jejichž zpřístupnění by mohlo poškodit obec nebo třetí osobu, a další obsah, který podle interních pravidel nesmí být do daného prostředí vložen.

Takový jednostránkový dokument na stole zaměstnance může mít pro bezpečné používání AI větší cenu než obsáhlá směrnice, kterou nikdo nečetl. Samozřejmě pouze za předpokladu, že za ním stojí skutečně nastavená pravidla.

Anonymizace není tlačítko „bezpečné“

Často se doporučuje: „Tak to anonymizujte.“ Ano, ale i zde je třeba přemýšlet. Odstranit jméno ještě nemusí znamenat anonymizovat člověka. Text: „Ředitel jediné základní školy v obci, který nastoupil do funkce v září minulého roku…,“ může být v konkrétní obci stejně jednoznačný jako uvedení jména.

Je proto nutné přemýšlet, zda lze člověka identifikovat i z kombinace ostatních údajů. Někdy je lepší konkrétní případ převést na abstraktní modelovou situaci. Místo skutečného dokumentu lze například napsat:

• „Zaměstnanec obce je v této pracovní situaci…“

Umělá inteligence často nepotřebuje víc vědět.

Kdo odpovídá za chybu AI?

Představme si, že AI doporučí právně nesprávný postup. Obec podle něj rozhodne.

Kdo se bude hájit větou: „To nám poradil chatbot“? Pravděpodobně nikdo úspěšně.

Použití technologického nástroje nemění odpovědnost orgánu obce, úřední osoby ani zaměstnance za jejich vlastní postupy tam, kde jim právní řád odpovědnost ukládá. To je třeba říci velmi otevřeně.

AI může připravit návrh. Člověk jej musí převzít jako svůj až ve chvíli, kdy je ochoten se pod něj podepsat. Toto pravidlo bych klidně napsal nad každý monitor na radnici.

Starosta by neměl AI zakázat

Starosta by měl používání AI na radnici řídit. První reakcí některých organizací na novou technologii bývá zákaz. Je pochopitelný, ale dlouhodobě nemusí být účinný. Pokud zaměstnancům pouze řekneme, že umělou inteligenci používat nesmějí, část z nich ji pravděpodobně začne používat soukromě. Na vlastním telefonu, vlastním účtu a mimo kontrolu organizace. Výsledkem může být paradoxně méně bezpečné prostředí.

Rozumnější cestou je říci: Toto používat můžete. Tohle používejte pouze tímto způsobem. A toto tam nikdy nevkládejte.

Obec by proto měla vědět, které nástroje povoluje, pro jaké účely, pod jakými účty, s jakými daty a kdo odpovídá za kontrolu výstupů. Současně by měla své zaměstnance naučit několik základních pravidel.

Ne školením o matematice neuronových sítí. Školením nad skutečnými situacemi z radnice.

• „Mohu sem vložit tuto smlouvu?“
• „Mohu sem dát stížnost občana?“
• „Mohu si nechat zkontrolovat důvodovou zprávu?“
• „Mohu analyzovat nabídky dodavatelů?“
• „Mohu sem vložit zápis z porady?“

To jsou otázky, které budou zaměstnanci skutečně řešit.

Pět sekund před Enterem

Nakonec lze celé bezpečné používání AI na radnici zredukovat na malý osobní rituál.

Než starosta nebo úředník odešle zadání, měl by se na několik sekund zastavit a položit si čtyři otázky:

• Potřebuje AI všechny údaje, které jí právě posílám?
• Smím tyto informace tomuto konkrétnímu nástroji svěřit?
• Co se stane, pokud bude jeho odpověď chybná?
• Dokážu výsledek před použitím ověřit?

Pokud na některou otázku neumím odpovědět, možná ještě není čas stisknout Enter.

Největší riziko AI

Umělá inteligence může halucinovat. Může špatně počítat. Může nesprávně interpretovat zákon. Může pracovat s neaktuální informací. To všechno jsou skutečná rizika. Ale největším rizikem může být nakonec člověk, který její odpověď přijme bez přemýšlení jen proto, že byla vytvořena rychle, hezky a sebevědomě.

Dobře nastavená radnice proto nebude měřit vyspělost podle počtu licencí AI. Pozná se podle něčeho jiného. Její lidé budou vědět, kdy AI použít, jaká data jí mohou svěřit, jak její odpověď ověřit a kdy ji naopak vůbec neposlouchat. A to je možná důležitější dovednost než umět napsat dokonalý prompt.

Ing. Jan Mareš, MPA, LL.M., vedoucí odboru ekonomiky, statutární město Chomutov

Seriál Umělá inteligence na radnici

1. Praktický návod pro obec, 26. 10. 2026
2. Dvacet promptů pro starostu, 29. 10. 2026
3. Největším rizikem AI je člověk, 3. 11. 2026 (právě čtete)
4. Enter ještě nemačkejte, 5. 11. 2026