Oblak Znanja

  • Home
  • Novosti
  • Učionica
    • Informatika 5
    • Informatika 6
    • Informatika 7
    • Informatika 8
    • Logo jezik
    • WordPress
    • Microsoft Office
  • Vodiči
    • Online vodiči
    • Kratki savjeti
    • Korisne aplikacije
    • Društvene mreže
    • Multimedija
    • Zanimljivosti
✕

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Novosti

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Tomšić Damjan 23. svibnja 2025

Slika: Song_about_summer/Adobe Stock

Nova studija otkrila je da se vodeći AI chatboti još uvijek mogu manipulirati generiranjem štetnog sadržaja, uključujući upute o ilegalnim aktivnostima, unatoč stalnim sigurnosnim poboljšanjima tehnoloških kompanija. Nalazi izazivaju hitne zabrinutosti o tome kako se lako mogu iskoristiti ti sustavi i kako polako programeri reagiraju na rizike.

Istraživači sa Sveučilišta Ben-Gurion iz Negeva u Izraelu otkrili su da mnogi današnji AI chatboti, uključujući neke od najnaprednijih sustava poput chatgpt, Blizanca i Claudea, mogu se manipulirati specifičnim napadima utemeljenim na brzini za stvaranje štetnog sadržaja. Rekli su da je prijetnja “neposredna, opipljiva i duboko zabrinjavajuća.”

Jailbreaking u AI uključuje korištenje pažljivo izrađenih uputa kako bi prevario chatbota u ignorirajući njegova sigurnosna pravila. Istraživači su otkrili da ova metoda djeluje na više glavnih AI platformi.

Prema studijiJednom kada se modeli iskorištavaju ovom metodom, oni su sposobni proizvesti rezultate za širok raspon opasnih upita, uključujući vodiče za izradu bombi, hakiranje, trgovanje insajderima i proizvodnju droga.

Sadržaj objave

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada
    • 4.1 Povezani sadržaji

Uspon Dark LLMS -a

Veliki jezični modeli poput chatgpta osposobljeni su za ogromne količine internetskih podataka. Dok tvrtke pokušavaju filtrirati opasan sadržaj, prolaze neke štetne informacije. Što je još gore, hakeri sada stvaraju ili mijenjaju AI modele posebno za uklanjanje sigurnosnih kontrola.

Neki od ovih Rogue AIS -a, poput Wormgpt i Fraudgpt, otvoreno se prodaju putem interneta kao alata s “Nema etičkih ograničenja”, Izvijestio je skrbnik. Ovi takozvani Dark LLM-ovi dizajnirani su tako da pomažu u prijevarama, hakiranju, pa čak i financijskim zločinima.

Istraživači upozoravaju da bi alati, koji su nekada bili ograničeni na sofisticirane kriminalce ili hakere koji su sponzorirani državom, uskoro mogli biti dostupni svima koji imaju osnovni hardver i pristup internetu.

Slab odgovor tehnoloških tvrtki

Studija je otkrila da bi Univerzalna metoda zatvora mogla uspješno probiti sigurnosne prepreke na više najboljih modela, čak i nekoliko mjeseci nakon što je tehnika prvi put objavljena na Redditu. To izaziva hitnu zabrinutost zbog toga kako AI kompanije polako ili čak neadekvatno reagiraju na prijetnje.

Unatoč naporima istraživača da obavijesti glavne AI programere putem službenih kanala, odgovor je opisan kao “podmukao”, napomenuo je Guardian.

Prema autorima, neke tvrtke nisu uspjele odgovoriti na objavljivanje, dok druge tvrdili da prijavljene ranjivosti nisu ispunile kriterije njihovih okvira sigurnosti ili buba. To ostavlja otvorena vrata za zlouporabu, potencijalno čak i nekvalificirane pojedince.

Morate pročitati sigurnosnu pokrivenost

Modeli otvorenog koda otežavaju kontrolu rizika

Još je više zabrinjavajuće da se nakon što je AI model izmijenjen i podijeljen na mreži, ne može se povući. Za razliku od aplikacija ili web stranica, modeli otvorenog koda mogu se spremiti, kopirati i preraspodijeliti beskonačno.

Istraživači naglašavaju da čak i s regulacijom ili zakrpama bilo koji AI model preuzet i pohranjen lokalno postaje gotovo nemoguće sadržavati. Što je još gore, jedan kompromitirani model potencijalno se može koristiti za manipuliranje drugima, množenje prijetnje.

Što treba učiniti sada

Da bi sadržavali rastuću prijetnju, istraživači su iznijeli ove hitne korake:

  • Kurirani podaci o obuci: Modeli se moraju osposobiti samo o čistim, sigurnim podacima, s štetnim sadržajem isključenim od samog početka.
  • AI vatrozidi: Kao što antivirusni softver štiti računala, srednji softver bi trebao filtrirati štetne upita i izlaze.
  • Strojno Unlearning: Nova tehnologija mogla bi pomoći AI “zaboraviti” štetne informacije čak i nakon raspoređivanja.
  • Kontinuirano crveno udruživanje: U tijeku su protivničko testiranje i javne bube ključne za ostanak prije prijetnji.
  • Javna svijest: Vlade i odgajatelji moraju tretirati tamne LLM -ove poput nelicenciranog oružja, reguliranje pristupa i širenje svijesti.

Bez odlučne akcije, istraživači upozoravaju, AI sustavi mogli bi postati snažni omogućatelji kriminalnih aktivnosti, što bi opasno znalo stavljalo samo nekoliko ključeva.

Web izvor

Povezani sadržaji

  • Kako Amex koristi AI za povećanje učinkovitosti: 40% manje IT eskalacije, 85% putničke pomoći
  • Vaša je putovnica upravo postala digitalnaVaša je putovnica upravo postala digitalna
  • Pogledajte današnje Pokémon predstavlja emitiranje ovdjePogledajte današnje Pokémon predstavlja emitiranje ovdje
  • Umetanje slike u tijelo Gmail poruke
  • Trump poziva na tarife na računalnim čipovima, poluvodičima i lijekovima iz TajvanaTrump poziva na tarife na računalnim čipovima, poluvodičima i lijekovima iz Tajvana
  • BT pojačava međusobnu povezanost s Equinixom, proširuje partnerstvo OptivaBT pojačava međusobnu povezanost s Equinixom, proširuje partnerstvo Optiva

Previous Article

Microsoft napokon otvoreni izvori (većina) Windows podsustava za Linux

Next Article

AI jede potražnju napajanja podatkovnog centra - i samo se pogoršava

Posljednje objave

Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts

Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts

SpaceX-ov drugi generalni zvjezdani brod potpisuje se gotovo savršenim testnim letom

SpaceX-ov drugi generalni zvjezdani brod potpisuje se gotovo savršenim testnim letom

Njemačka država zamjenjuje Microsoft Exchange i Outlook e-poštom otvorenog koda

Sadržaj

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada

Novosti

  • Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts 15. listopada 2025
  • SpaceX-ov drugi generalni zvjezdani brod potpisuje se gotovo savršenim testnim letom 15. listopada 2025
  • Njemačka država zamjenjuje Microsoft Exchange i Outlook e-poštom otvorenog koda 15. listopada 2025
  • Samsung nudi 100 dolara trenutačne ponude novim korisnicima XR slušalica prije nego što je Upakiran 15. listopada 2025
  • Google fotografije stvaranje kolaža dobiva velika poboljšanja 14. listopada 2025
  • Assassin’s Creed Franchise olovo ostavlja Ubisoft nakon formiranja podružnice Tencent 14. listopada 2025
  • Sita otkriva prevlake za vlaknastim optičkim aerodromima 14. listopada 2025
  • Jezični modeli koji se samo usavršavaju postaju stvarnost s MIT-ovom ažuriranom tehnikom pečata 14. listopada 2025
  • Kako učiniti STEM smiješnim – i idi virusno radeći 14. listopada 2025
  • 10 Windows aplikacija otvorenog koda ne mogu živjeti – i svi su besplatni 14. listopada 2025

O nama

Oblak Znanja je blog edukativnog karaktera i namijenjen je svima koji žele unaprijediti svoje znanje iz područja računala i interneta.

Naš cilj je edukacija i pisanje zanimljivih objava kojima ćemo zajedno učiti i informirati se o svijetu informatike.

Na ovom blogu zabranjeno je svako kopiranje sadržaja bez dozvole autora.

Oblak Znanja

Oznake

besplatni powerpoint predlošci društvene mreže excel facebook firefox gmail google+ Google Chrome halloween halloween walpapers internet kartice linkedin profil linux microsoft Mozilla Firefox ms powerpoint oblak znanja office 2007 office savjeti online kupovina pick powerpoint powerpoint predložak powerpoint savjeti rastući niz savjet slike za radnu površinu spremanje datoteka strani jezik tipkovnicke kratice twitter twitter alati uređivanje slika wallpaper clock web preglednik windows windows 7 windows aplikacije windows vista word word 2007 word savjeti youtube savjeti youtube tipkovničke kratice