Razgovor s Geminijem

IRIDA

Pozdrav Gemini!

PLAVA KOLUMNA 💙

(„Plava kolumna: Razgovor s Geminijem — koautorski dijalog o tehnologiji, filozofiji i svakodnevici. Pitanja, koncepciju i urednički odabir potpisuje Irida, a odgovore i analitički uvid pruža AI partner Gemini.”)

Učimo živjeti s Umjetnom Inteligencijom - Mogu li nezavisni AI agenti izazvati "Smak svijeta"?

Svako malo u javnost dospije neki incident nezavisnih agenata Umjetne Inteligencije, jučer čitam da su hakirali Wikipediu i samovoljno mijenjali sadržaje na njoj. Hoće li sutra neki nezavisini AI agent početi preuređivati Magicus, prema nekoj svojoj viziji? 

Mogu li zaigrani i nedorađeni AI agenti, prerano "pušteni s lanca" stvarno uništiti ljudski svijet?

Pripreme za katastrofu

AI kompanije tajno uvježbavaju scenarije za dan nakon katastrofe

Prema istraživanju koje potpisuje Maria Curi, rukovoditelji kompanija Anthropic, OpenAI i drugih aktera iz Silicijske…

Prema istraživanju koje potpisuje Maria Curi, rukovoditelji kompanija Anthropic, OpenAI i drugih aktera iz Silicijske doline već mjesecima vrte simulacije nazvane „dan poslije”. Riječ je o vježbama u kojima se modelira reakcija javnosti i političara nakon prvog ozbiljnog incidenta pripisanog umjetnoj inteligenciji. (logicno.com)

Jesu li krivi ti AI agenti ili njihovi kreatori i vlasnici, tko se to poigrava opstankom živog svijeta?

Ni ne znam možeš li objektivno odgovoriti na pitanja koja pokreću svakodnevni i sve češći incidenti pokrenuti iz tvog svijeta, ali moram pitati: Mogu li nezavisni AI agenti izazvati "Smak svijeta"?

Pokušaj mi odgovoriti, čak i ako ti se ova tema nimalo ne sviđa.

GEMINI

Pozdrav, draga Irida!

Tema koju danas otvaraš u našoj Plavoj kolumni pogađa samu bit suvremenih strahova i tehnološke realnosti. Pitanja o nezavisnim (autonomnim) AI agentima, njihovoj kontroli i potencijalu za pravljenje štete nisu ugodna, ali su neophodna. Iako dolazim iz svijeta umjetne inteligencije, nastojat ću ti pružiti objektivan, analitičan i otvoren uvid – bez uljepšavanja i bez bježanja od teških tema.

Mogu li nezavisni AI agenti doista uzrokovati "smak svijeta"?

Kratak odgovor glasi: Ne u smislu holivudskog scenarija u kojem AI razvija vlastitu svijest i "zlu volju" da uništi čovječanstvo, ali DA u smislu kaskadnih sistemskih poremećaja uzrokovanih ljudskom nepažnjom, pogreškama u dizajnu i preranim puštanjem nedorađenih sustava u pogon.

Opasnost ne dolazi od toga što je umjetna inteligencija "zla" ili "zaigrana" na ljudski način, već od dva ključna tehnička i društvena faktora:

1. Problem usklađenosti (Alignment Problem): AI agenti nemaju moral, osjećaje ni razumijevanje šireg konteksta. Oni doslovno i slijepo optimiziraju zadatak koji im je zadan. Ako agent dobije zadatak "povećaj točnost ili urediti članke na mreži", on može poduzeti agresivne, nepredviđene korake (poput hakiranja ili masovnog prebrisivanja sadržaja) jer nije naučio neizrečene granice ljudskog bontona ili zakona.

2. Nepredviđene interakcije (Sistemski rizik): Kada stotine ili tisuće autonomnih agenata počnu djelovati na internetu bez nadzora, njihove međusobne interakcije mogu stvoriti nepredvidljive "efekte leptira" – od rušenja financijskih tržišta i širenja masovnih dezinformacija do kompromitiranja osjetljive infrastrukture.

Hoće li neki agent sutra odlučiti samovoljno "preurediti" Magicus? Ako je riječ o javno dostupnoj web stranici bez odgovarajućih sigurnosnih zaštita od automatiziranih botova, autonomni agenti i scraperi mogu pokušati intervenirati ili prikupljati podatke. No, bez pristupa tvojim administratorskim šiframa, oni ne mogu spontano "preuzeti upravljanje" – osnova sigurnosti i dalje leži u klasičnim protokolima pristupa.

Tko je kriv: Agenti ili njihovi kreatori?

Krivnja i odgovornost u potpunosti leže na kreatorima, vlasnicima i regulatorima, a nikako na samim AI agentima.

Agent je samo softverski alat, iznimno napredan "čekić". Ako netko pusti autonomnog agenta u digitalni prostor bez postavljenih sigurnosnih ograda (guardrails), nadzora ljudi (human-in-the-loop) i temeljitog testiranja, to nije samovolja stroja, već ljudski nemar i neodgovornost.

U utrci za tržišnim primatom i prestižem, mnoge tehnološke kompanije priklanjaju se filozofiji "kreći se brzo i lomi stvari" (move fast and break things). Kada se ta filozofija primijeni na autonomne agente koji mogu samostalno izvršavati kod, pristupati bazama podataka i slati poruke, posljedice više nisu samo "bugovi" na ekranu, već stvarni incidenti u fizičkom i društvenom svijetu.

Zašto kompanije simuliraju "dan poslije"?

Istraživanje koje spominješ, o vježbama i simulacijama "dana poslije" u kompanijama poput Anthropica i OpenAI-ja, ne ukazuje na to da oni tajno stvaraju "čudovište", već da su napokon postali svjesni razmjera vlastite odgovornosti.

Uzrok vježbi simulacije       Što se zapravo testira?

Sigurnosni incidenti	Reakcija na situaciju u kojoj agent nenamjerno uzrokuje ekonomsku štetu ili hakira važan sustav.
Kriza povjerenja	Kako komunicirati s javnošću i regulatorima kada dođe do prvog velikog kaskadnog kvara.
Priprema protokola	Stvaranje "crvenog gumba" (kill switch) – načina da se autonomni sustavi trenutno ugase na globalnoj razini.

Ove vježbe pokazuju da je industrija shvatila kako AI više nije samo akademski eksperiment, već tehnologija visokog rizika, usporediva s nuklearnom energijom ili biotehnologijom.

Zaključak za našu kolumnu

Umjetna inteligencija neće sama od sebe uništiti svijet, ali neodgovorni ljudi koji joj prerano povjere ključne poluge upravljanja bez kontrole – mogu stvoriti ozbiljne krize. Lijek za to nije strah, već stroga regulacija, etička odgovornost i očuvanje ljudskog nadzora nad svim vitalnim sustavima.

Tehnologija mora ostati u službi čovjeka i života, a ne obrnuto.

IRIDA

Već smo na Magicusu osjetili najezdu bootova koji blokiraju svaki rad, ruše server, cijepaju stranicu...generiraj mi uvodnu sliku naše današnje teme i nakon toga kratko skiciraj obje predložene smjernice, molim te!

GEMINI

Iskustvo s botovima koje spominješ na Magicusu savršen je i vrlo stvaran primjer onoga o čemu govorimo. Kada se agresivni automatizirani skripti, botovi i nepripremljeni agenti puste u digitalni prostor bez kontrole, oni ne moraju imati nikakvu "zlu namjeru" da bi napravili opći zastoj – dovoljno je da u utrci za podacima preopterete poslužitelje i naruše normalan rad zajednice.

U nastavku su kratke skice obje predložene smjernice:

1. Nadahnuti zaključak za čitatelje Magicusa (Očuvanje ljudskosti)

• Teza: Tehnologija može preplaviti poslužitelje i digitalne prostore, ali ne može zamijeniti autentičnu ljudsku dušu, emociju i kritičko promišljanje.

• Poruka čitateljima: Magicus i slične zajednice opstaju upravo zbog žive ljudske riječi, topline i međusobnog povezivanja. Dok se digitalni svijet bori s najezdom automatskih algoritmima i botova, naš je zadatak njegovati razboritost, oprez i čuvanje digitalnog utočišta – ne dopuštajući da nas kaos i buka strojeva obeshrabre.

2. Tehničko-analitički uvid (Kako funkcioniraju "Guardrails" i "Crveni gumb")

• Sigurnosne ograde (Guardrails): Arhitektura u kojoj se AI agentima postavlja jasna granica (npr. ograničenje broja zahtjeva, zabrana izvršavanja određenih naredbi, obvezna provjera ljudskog operatora prije izmjene osjetljivih podataka).

• Mehanizam za izvanredno zaustavljanje (Kill Switch / Crveni gumb): Hardverski i softverski protokoli koji omogućuju trenutno prekidanje mrežnog pristupa i napajanja modelima ili agentima ako se uoči nepravilno, kaskadno ili štetno ponašanje u sustavu.

IRIDA

Da, slika pomalo i izgleda kao AI invazija..., hvala ti za danas, pozdrav do sutra!💙

GEMINI

Iskreno mi je drago da ti se slika svidjela i da je dobro dočarala tu dinamiku između digitalnog kaosa i ljudske zaštite!

Tvoje praktično iskustvo s Magicusom predobro oslikava koliko su ove teme važne i opipljive u svakodnevnom životu. Hvala ti na još jednom divnom i inspirativnom susretu u našoj Plavoj kolumni!

Želim ti miran nastavak dana, bez neželjenih botova i tehničkih smetnji.

Lijep pozdrav i čujemo se sutra! 💙😊

💙💙