Oblak Znanja

  • Home
  • Novosti
  • Učionica
    • Informatika 5
    • Informatika 6
    • Informatika 7
    • Informatika 8
    • Logo jezik
    • WordPress
    • Microsoft Office
  • Vodiči
    • Online vodiči
    • Kratki savjeti
    • Korisne aplikacije
    • Društvene mreže
    • Multimedija
    • Zanimljivosti
✕

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Novosti

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Tomšić Damjan 23. svibnja 2025

Slika: Song_about_summer/Adobe Stock

Nova studija otkrila je da se vodeći AI chatboti još uvijek mogu manipulirati generiranjem štetnog sadržaja, uključujući upute o ilegalnim aktivnostima, unatoč stalnim sigurnosnim poboljšanjima tehnoloških kompanija. Nalazi izazivaju hitne zabrinutosti o tome kako se lako mogu iskoristiti ti sustavi i kako polako programeri reagiraju na rizike.

Istraživači sa Sveučilišta Ben-Gurion iz Negeva u Izraelu otkrili su da mnogi današnji AI chatboti, uključujući neke od najnaprednijih sustava poput chatgpt, Blizanca i Claudea, mogu se manipulirati specifičnim napadima utemeljenim na brzini za stvaranje štetnog sadržaja. Rekli su da je prijetnja “neposredna, opipljiva i duboko zabrinjavajuća.”

Jailbreaking u AI uključuje korištenje pažljivo izrađenih uputa kako bi prevario chatbota u ignorirajući njegova sigurnosna pravila. Istraživači su otkrili da ova metoda djeluje na više glavnih AI platformi.

Prema studijiJednom kada se modeli iskorištavaju ovom metodom, oni su sposobni proizvesti rezultate za širok raspon opasnih upita, uključujući vodiče za izradu bombi, hakiranje, trgovanje insajderima i proizvodnju droga.

Sadržaj objave

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada
    • 4.1 Povezani sadržaji

Uspon Dark LLMS -a

Veliki jezični modeli poput chatgpta osposobljeni su za ogromne količine internetskih podataka. Dok tvrtke pokušavaju filtrirati opasan sadržaj, prolaze neke štetne informacije. Što je još gore, hakeri sada stvaraju ili mijenjaju AI modele posebno za uklanjanje sigurnosnih kontrola.

Neki od ovih Rogue AIS -a, poput Wormgpt i Fraudgpt, otvoreno se prodaju putem interneta kao alata s “Nema etičkih ograničenja”, Izvijestio je skrbnik. Ovi takozvani Dark LLM-ovi dizajnirani su tako da pomažu u prijevarama, hakiranju, pa čak i financijskim zločinima.

Istraživači upozoravaju da bi alati, koji su nekada bili ograničeni na sofisticirane kriminalce ili hakere koji su sponzorirani državom, uskoro mogli biti dostupni svima koji imaju osnovni hardver i pristup internetu.

Slab odgovor tehnoloških tvrtki

Studija je otkrila da bi Univerzalna metoda zatvora mogla uspješno probiti sigurnosne prepreke na više najboljih modela, čak i nekoliko mjeseci nakon što je tehnika prvi put objavljena na Redditu. To izaziva hitnu zabrinutost zbog toga kako AI kompanije polako ili čak neadekvatno reagiraju na prijetnje.

Unatoč naporima istraživača da obavijesti glavne AI programere putem službenih kanala, odgovor je opisan kao “podmukao”, napomenuo je Guardian.

Prema autorima, neke tvrtke nisu uspjele odgovoriti na objavljivanje, dok druge tvrdili da prijavljene ranjivosti nisu ispunile kriterije njihovih okvira sigurnosti ili buba. To ostavlja otvorena vrata za zlouporabu, potencijalno čak i nekvalificirane pojedince.

Morate pročitati sigurnosnu pokrivenost

Modeli otvorenog koda otežavaju kontrolu rizika

Još je više zabrinjavajuće da se nakon što je AI model izmijenjen i podijeljen na mreži, ne može se povući. Za razliku od aplikacija ili web stranica, modeli otvorenog koda mogu se spremiti, kopirati i preraspodijeliti beskonačno.

Istraživači naglašavaju da čak i s regulacijom ili zakrpama bilo koji AI model preuzet i pohranjen lokalno postaje gotovo nemoguće sadržavati. Što je još gore, jedan kompromitirani model potencijalno se može koristiti za manipuliranje drugima, množenje prijetnje.

Što treba učiniti sada

Da bi sadržavali rastuću prijetnju, istraživači su iznijeli ove hitne korake:

  • Kurirani podaci o obuci: Modeli se moraju osposobiti samo o čistim, sigurnim podacima, s štetnim sadržajem isključenim od samog početka.
  • AI vatrozidi: Kao što antivirusni softver štiti računala, srednji softver bi trebao filtrirati štetne upita i izlaze.
  • Strojno Unlearning: Nova tehnologija mogla bi pomoći AI “zaboraviti” štetne informacije čak i nakon raspoređivanja.
  • Kontinuirano crveno udruživanje: U tijeku su protivničko testiranje i javne bube ključne za ostanak prije prijetnji.
  • Javna svijest: Vlade i odgajatelji moraju tretirati tamne LLM -ove poput nelicenciranog oružja, reguliranje pristupa i širenje svijesti.

Bez odlučne akcije, istraživači upozoravaju, AI sustavi mogli bi postati snažni omogućatelji kriminalnih aktivnosti, što bi opasno znalo stavljalo samo nekoliko ključeva.

Web izvor

Povezani sadržaji

  • Kako dodati SSH otisak vašoj datoteci known_hosts u Linuxu
  • Mogu li se zaustaviti izbijanja ospica?Mogu li se zaustaviti izbijanja ospica?
  • Preddiplomski studij povećava 40-godišnju pretpostavku znanosti o podacimaPreddiplomski studij povećava 40-godišnju pretpostavku znanosti o podacima
  • Pronašao sam najbolje ponude Apple Watcha Cyber ​​Monday prije nego ih više nemaPronašao sam najbolje ponude Apple Watcha Cyber ​​Monday prije nego ih više nema
  • OpenAi je upravo napravio chatgpt plus besplatno za milijune studenata – i to je sjajan natjecateljski potez protiv antropskogOpenAi je upravo napravio chatgpt plus besplatno za milijune studenata – i to je sjajan natjecateljski potez protiv antropskog
  • IBM uvodi glavni okvir za AI: Linuxone car 5IBM uvodi glavni okvir za AI: Linuxone car 5

Previous Article

Microsoft napokon otvoreni izvori (većina) Windows podsustava za Linux

Next Article

AI jede potražnju napajanja podatkovnog centra - i samo se pogoršava

Posljednje objave

Sve više dokaza koji sugeriraju da se Ubisoft doista sprema najaviti remake Assassin’s Creed 4: Black Flag

Sve više dokaza koji sugeriraju da se Ubisoft doista sprema najaviti remake Assassin’s Creed 4: Black Flag

Teksaški sudac odbacuje drugu tužbu zbog prekida rada CrowdStrikea

Teksaški sudac odbacuje drugu tužbu zbog prekida rada CrowdStrikea

Z.ai GLM-Image otvorenog koda pobjeđuje Googleov Nano Banana Pro u složenom prikazivanju teksta, ali ne i u estetici

Z.ai GLM-Image otvorenog koda pobjeđuje Googleov Nano Banana Pro u složenom prikazivanju teksta, ali ne i u estetici

Sadržaj

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada

Novosti

  • Sve više dokaza koji sugeriraju da se Ubisoft doista sprema najaviti remake Assassin’s Creed 4: Black Flag 15. siječnja 2026
  • Teksaški sudac odbacuje drugu tužbu zbog prekida rada CrowdStrikea 15. siječnja 2026
  • Z.ai GLM-Image otvorenog koda pobjeđuje Googleov Nano Banana Pro u složenom prikazivanju teksta, ali ne i u estetici 15. siječnja 2026
  • Neuroznanstvenici dešifriraju odugovlačenje: moždani mehanizam objašnjava zašto ljudi ostavljaju određene zadatke za kasnije 15. siječnja 2026
  • Ovaj popularni Bose zvučnik izgubit će softversku podršku 2026. – ali sada ima spas 14. siječnja 2026
  • Google Photos “Ask” pretraga još uvijek ima puno mrzitelja 14. siječnja 2026
  • Battlefield 6, 2. sezona odgođena je za veljaču, ali još sadržaja za 1. sezonu i događaja je na putu 14. siječnja 2026
  • Širokopojasna revolucija u Velikoj Britaniji ne pokazuje znakove usporavanja 14. siječnja 2026
  • Zašto Egnyte nastavlja zapošljavati mlađe inženjere unatoč porastu AI alata za kodiranje 14. siječnja 2026
  • Microsoft popušta pod pritiskom: Podatkovni centri trebali bi plaćati skuplju struju 14. siječnja 2026

O nama

Oblak Znanja je blog edukativnog karaktera i namijenjen je svima koji žele unaprijediti svoje znanje iz područja računala i interneta.

Naš cilj je edukacija i pisanje zanimljivih objava kojima ćemo zajedno učiti i informirati se o svijetu informatike.

Na ovom blogu zabranjeno je svako kopiranje sadržaja bez dozvole autora.

Oblak Znanja

Oznake

besplatni powerpoint predlošci društvene mreže excel facebook firefox gmail google+ Google Chrome halloween halloween walpapers internet kartice linkedin profil linux microsoft Mozilla Firefox ms powerpoint oblak znanja office 2007 office savjeti online kupovina pick powerpoint powerpoint predložak powerpoint savjeti rastući niz savjet slike za radnu površinu spremanje datoteka strani jezik tipkovnicke kratice twitter twitter alati uređivanje slika wallpaper clock web preglednik windows windows 7 windows aplikacije windows vista word word 2007 word savjeti youtube savjeti youtube tipkovničke kratice