Oblak Znanja

  • Home
  • Novosti
  • Učionica
    • Informatika 5
    • Informatika 6
    • Informatika 7
    • Informatika 8
    • Logo jezik
    • WordPress
    • Microsoft Office
  • Vodiči
    • Online vodiči
    • Kratki savjeti
    • Korisne aplikacije
    • Društvene mreže
    • Multimedija
    • Zanimljivosti
✕

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Novosti

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Tomšić Damjan 23. svibnja 2025

Slika: Song_about_summer/Adobe Stock

Nova studija otkrila je da se vodeći AI chatboti još uvijek mogu manipulirati generiranjem štetnog sadržaja, uključujući upute o ilegalnim aktivnostima, unatoč stalnim sigurnosnim poboljšanjima tehnoloških kompanija. Nalazi izazivaju hitne zabrinutosti o tome kako se lako mogu iskoristiti ti sustavi i kako polako programeri reagiraju na rizike.

Istraživači sa Sveučilišta Ben-Gurion iz Negeva u Izraelu otkrili su da mnogi današnji AI chatboti, uključujući neke od najnaprednijih sustava poput chatgpt, Blizanca i Claudea, mogu se manipulirati specifičnim napadima utemeljenim na brzini za stvaranje štetnog sadržaja. Rekli su da je prijetnja “neposredna, opipljiva i duboko zabrinjavajuća.”

Jailbreaking u AI uključuje korištenje pažljivo izrađenih uputa kako bi prevario chatbota u ignorirajući njegova sigurnosna pravila. Istraživači su otkrili da ova metoda djeluje na više glavnih AI platformi.

Prema studijiJednom kada se modeli iskorištavaju ovom metodom, oni su sposobni proizvesti rezultate za širok raspon opasnih upita, uključujući vodiče za izradu bombi, hakiranje, trgovanje insajderima i proizvodnju droga.

Sadržaj objave

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada
    • 4.1 Povezani sadržaji

Uspon Dark LLMS -a

Veliki jezični modeli poput chatgpta osposobljeni su za ogromne količine internetskih podataka. Dok tvrtke pokušavaju filtrirati opasan sadržaj, prolaze neke štetne informacije. Što je još gore, hakeri sada stvaraju ili mijenjaju AI modele posebno za uklanjanje sigurnosnih kontrola.

Neki od ovih Rogue AIS -a, poput Wormgpt i Fraudgpt, otvoreno se prodaju putem interneta kao alata s “Nema etičkih ograničenja”, Izvijestio je skrbnik. Ovi takozvani Dark LLM-ovi dizajnirani su tako da pomažu u prijevarama, hakiranju, pa čak i financijskim zločinima.

Istraživači upozoravaju da bi alati, koji su nekada bili ograničeni na sofisticirane kriminalce ili hakere koji su sponzorirani državom, uskoro mogli biti dostupni svima koji imaju osnovni hardver i pristup internetu.

Slab odgovor tehnoloških tvrtki

Studija je otkrila da bi Univerzalna metoda zatvora mogla uspješno probiti sigurnosne prepreke na više najboljih modela, čak i nekoliko mjeseci nakon što je tehnika prvi put objavljena na Redditu. To izaziva hitnu zabrinutost zbog toga kako AI kompanije polako ili čak neadekvatno reagiraju na prijetnje.

Unatoč naporima istraživača da obavijesti glavne AI programere putem službenih kanala, odgovor je opisan kao “podmukao”, napomenuo je Guardian.

Prema autorima, neke tvrtke nisu uspjele odgovoriti na objavljivanje, dok druge tvrdili da prijavljene ranjivosti nisu ispunile kriterije njihovih okvira sigurnosti ili buba. To ostavlja otvorena vrata za zlouporabu, potencijalno čak i nekvalificirane pojedince.

Morate pročitati sigurnosnu pokrivenost

Modeli otvorenog koda otežavaju kontrolu rizika

Još je više zabrinjavajuće da se nakon što je AI model izmijenjen i podijeljen na mreži, ne može se povući. Za razliku od aplikacija ili web stranica, modeli otvorenog koda mogu se spremiti, kopirati i preraspodijeliti beskonačno.

Istraživači naglašavaju da čak i s regulacijom ili zakrpama bilo koji AI model preuzet i pohranjen lokalno postaje gotovo nemoguće sadržavati. Što je još gore, jedan kompromitirani model potencijalno se može koristiti za manipuliranje drugima, množenje prijetnje.

Što treba učiniti sada

Da bi sadržavali rastuću prijetnju, istraživači su iznijeli ove hitne korake:

  • Kurirani podaci o obuci: Modeli se moraju osposobiti samo o čistim, sigurnim podacima, s štetnim sadržajem isključenim od samog početka.
  • AI vatrozidi: Kao što antivirusni softver štiti računala, srednji softver bi trebao filtrirati štetne upita i izlaze.
  • Strojno Unlearning: Nova tehnologija mogla bi pomoći AI “zaboraviti” štetne informacije čak i nakon raspoređivanja.
  • Kontinuirano crveno udruživanje: U tijeku su protivničko testiranje i javne bube ključne za ostanak prije prijetnji.
  • Javna svijest: Vlade i odgajatelji moraju tretirati tamne LLM -ove poput nelicenciranog oružja, reguliranje pristupa i širenje svijesti.

Bez odlučne akcije, istraživači upozoravaju, AI sustavi mogli bi postati snažni omogućatelji kriminalnih aktivnosti, što bi opasno znalo stavljalo samo nekoliko ključeva.

Web izvor

Povezani sadržaji

  • Android’s Design Future je ‘izražajna’
  • Koliko energije koristi AI? Ljudi koji znaju ne govoreKoliko energije koristi AI? Ljudi koji znaju ne govore
  • Skriveni troškovi u AI implementaciji: Zašto Claude modeli mogu biti 20-30% skuplji od GPT-a u Poredbama poduzećaSkriveni troškovi u AI implementaciji: Zašto Claude modeli mogu biti 20-30% skuplji od GPT-a u Poredbama poduzeća
  • FBC: Firebreak’s Rogue Protocol ažuriranje je odgođeno za siječanj jer “još treba malo više vremena”FBC: Firebreak’s Rogue Protocol ažuriranje je odgođeno za siječanj jer “još treba malo više vremena”
  • Ja sam korisnik Linux Power -a, a ovo me je natjeralo da preispitam što može biti operativni sustavJa sam korisnik Linux Power -a, a ovo me je natjeralo da preispitam što može biti operativni sustav
  • Novo u Linuxu? Sedam stvari koje bi svaki početnik trebao znatiNovo u Linuxu? Sedam stvari koje bi svaki početnik trebao znati

Previous Article

Microsoft napokon otvoreni izvori (većina) Windows podsustava za Linux

Next Article

AI jede potražnju napajanja podatkovnog centra - i samo se pogoršava

Posljednje objave

Pixel 9 Pro rasprodaja zaliha stiže s cijenama niskim od 500 USD

Pixel 9 Pro rasprodaja zaliha stiže s cijenama niskim od 500 USD

Obožavatelji Fortnitea kažu “ne AI pomazi” nakon što su uočili ono za što vjeruju da su slike generirane umjetnom inteligencijom u igri

Obožavatelji Fortnitea kažu “ne AI pomazi” nakon što su uočili ono za što vjeruju da su slike generirane umjetnom inteligencijom u igri

Microsoft stvara okvir za sigurnu arhitekturu optičke mreže

Microsoft stvara okvir za sigurnu arhitekturu optičke mreže

Sadržaj

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada

Novosti

  • Pixel 9 Pro rasprodaja zaliha stiže s cijenama niskim od 500 USD 1. prosinca 2025
  • Obožavatelji Fortnitea kažu “ne AI pomazi” nakon što su uočili ono za što vjeruju da su slike generirane umjetnom inteligencijom u igri 30. studenoga 2025
  • Microsoft stvara okvir za sigurnu arhitekturu optičke mreže 30. studenoga 2025
  • Zašto je vidljiva umjetna inteligencija SRE sloj koji nedostaje tvrtkama za pouzdane LLM-ove 30. studenoga 2025
  • Lijek za mršavljenje Zepbound testira se kao lijek za dugi Covid 30. studenoga 2025
  • Koliko RAM-a vaše računalo zapravo treba 2025. godine? Stručnjak za Windows i Mac računa 30. studenoga 2025
  • Samsung daje 71% popusta na Galaxy Watch 8 30. studenoga 2025
  • Hollow Knight: Silksong dev misli da će Clair Obscur: Expedition 33 osvojiti igru ​​godine: “Iznimna je i široko ukusna” 29. studenoga 2025
  • RailTel modernizira međugradske optičke mreže metroa diljem Indije 29. studenoga 2025
  • Anthropic kaže da je riješio dugogodišnji problem AI agenta s novim Claude SDK-om za više sesija 29. studenoga 2025

O nama

Oblak Znanja je blog edukativnog karaktera i namijenjen je svima koji žele unaprijediti svoje znanje iz područja računala i interneta.

Naš cilj je edukacija i pisanje zanimljivih objava kojima ćemo zajedno učiti i informirati se o svijetu informatike.

Na ovom blogu zabranjeno je svako kopiranje sadržaja bez dozvole autora.

Oblak Znanja

Oznake

besplatni powerpoint predlošci društvene mreže excel facebook firefox gmail google+ Google Chrome halloween halloween walpapers internet kartice linkedin profil linux microsoft Mozilla Firefox ms powerpoint oblak znanja office 2007 office savjeti online kupovina pick powerpoint powerpoint predložak powerpoint savjeti rastući niz savjet slike za radnu površinu spremanje datoteka strani jezik tipkovnicke kratice twitter twitter alati uređivanje slika wallpaper clock web preglednik windows windows 7 windows aplikacije windows vista word word 2007 word savjeti youtube savjeti youtube tipkovničke kratice