Oblak Znanja

  • Home
  • Novosti
  • Učionica
    • Informatika 5
    • Informatika 6
    • Informatika 7
    • Informatika 8
    • Logo jezik
    • WordPress
    • Microsoft Office
  • Vodiči
    • Online vodiči
    • Kratki savjeti
    • Korisne aplikacije
    • Društvene mreže
    • Multimedija
    • Zanimljivosti
✕

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Novosti

AI chatbot Jailbreaking Sigurnosna prijetnja je “neposredna, opipljiva i duboko zabrinjavajuća”

Tomšić Damjan 23. svibnja 2025

Slika: Song_about_summer/Adobe Stock

Nova studija otkrila je da se vodeći AI chatboti još uvijek mogu manipulirati generiranjem štetnog sadržaja, uključujući upute o ilegalnim aktivnostima, unatoč stalnim sigurnosnim poboljšanjima tehnoloških kompanija. Nalazi izazivaju hitne zabrinutosti o tome kako se lako mogu iskoristiti ti sustavi i kako polako programeri reagiraju na rizike.

Istraživači sa Sveučilišta Ben-Gurion iz Negeva u Izraelu otkrili su da mnogi današnji AI chatboti, uključujući neke od najnaprednijih sustava poput chatgpt, Blizanca i Claudea, mogu se manipulirati specifičnim napadima utemeljenim na brzini za stvaranje štetnog sadržaja. Rekli su da je prijetnja “neposredna, opipljiva i duboko zabrinjavajuća.”

Jailbreaking u AI uključuje korištenje pažljivo izrađenih uputa kako bi prevario chatbota u ignorirajući njegova sigurnosna pravila. Istraživači su otkrili da ova metoda djeluje na više glavnih AI platformi.

Prema studijiJednom kada se modeli iskorištavaju ovom metodom, oni su sposobni proizvesti rezultate za širok raspon opasnih upita, uključujući vodiče za izradu bombi, hakiranje, trgovanje insajderima i proizvodnju droga.

Sadržaj objave

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada
    • 4.1 Povezani sadržaji

Uspon Dark LLMS -a

Veliki jezični modeli poput chatgpta osposobljeni su za ogromne količine internetskih podataka. Dok tvrtke pokušavaju filtrirati opasan sadržaj, prolaze neke štetne informacije. Što je još gore, hakeri sada stvaraju ili mijenjaju AI modele posebno za uklanjanje sigurnosnih kontrola.

Neki od ovih Rogue AIS -a, poput Wormgpt i Fraudgpt, otvoreno se prodaju putem interneta kao alata s “Nema etičkih ograničenja”, Izvijestio je skrbnik. Ovi takozvani Dark LLM-ovi dizajnirani su tako da pomažu u prijevarama, hakiranju, pa čak i financijskim zločinima.

Istraživači upozoravaju da bi alati, koji su nekada bili ograničeni na sofisticirane kriminalce ili hakere koji su sponzorirani državom, uskoro mogli biti dostupni svima koji imaju osnovni hardver i pristup internetu.

Slab odgovor tehnoloških tvrtki

Studija je otkrila da bi Univerzalna metoda zatvora mogla uspješno probiti sigurnosne prepreke na više najboljih modela, čak i nekoliko mjeseci nakon što je tehnika prvi put objavljena na Redditu. To izaziva hitnu zabrinutost zbog toga kako AI kompanije polako ili čak neadekvatno reagiraju na prijetnje.

Unatoč naporima istraživača da obavijesti glavne AI programere putem službenih kanala, odgovor je opisan kao “podmukao”, napomenuo je Guardian.

Prema autorima, neke tvrtke nisu uspjele odgovoriti na objavljivanje, dok druge tvrdili da prijavljene ranjivosti nisu ispunile kriterije njihovih okvira sigurnosti ili buba. To ostavlja otvorena vrata za zlouporabu, potencijalno čak i nekvalificirane pojedince.

Morate pročitati sigurnosnu pokrivenost

Modeli otvorenog koda otežavaju kontrolu rizika

Još je više zabrinjavajuće da se nakon što je AI model izmijenjen i podijeljen na mreži, ne može se povući. Za razliku od aplikacija ili web stranica, modeli otvorenog koda mogu se spremiti, kopirati i preraspodijeliti beskonačno.

Istraživači naglašavaju da čak i s regulacijom ili zakrpama bilo koji AI model preuzet i pohranjen lokalno postaje gotovo nemoguće sadržavati. Što je još gore, jedan kompromitirani model potencijalno se može koristiti za manipuliranje drugima, množenje prijetnje.

Što treba učiniti sada

Da bi sadržavali rastuću prijetnju, istraživači su iznijeli ove hitne korake:

  • Kurirani podaci o obuci: Modeli se moraju osposobiti samo o čistim, sigurnim podacima, s štetnim sadržajem isključenim od samog početka.
  • AI vatrozidi: Kao što antivirusni softver štiti računala, srednji softver bi trebao filtrirati štetne upita i izlaze.
  • Strojno Unlearning: Nova tehnologija mogla bi pomoći AI “zaboraviti” štetne informacije čak i nakon raspoređivanja.
  • Kontinuirano crveno udruživanje: U tijeku su protivničko testiranje i javne bube ključne za ostanak prije prijetnji.
  • Javna svijest: Vlade i odgajatelji moraju tretirati tamne LLM -ove poput nelicenciranog oružja, reguliranje pristupa i širenje svijesti.

Bez odlučne akcije, istraživači upozoravaju, AI sustavi mogli bi postati snažni omogućatelji kriminalnih aktivnosti, što bi opasno znalo stavljalo samo nekoliko ključeva.

Web izvor

Povezani sadržaji

  • Kako jednostavno povezati Windows s Linux Samba Shares
  • 4 besplatne aplikacije za upravljanje projektima preporučujem na Linuxu – i zašto biste ga trebali koristiti4 besplatne aplikacije za upravljanje projektima preporučujem na Linuxu – i zašto biste ga trebali koristiti
  • Signalgate: Saznanje za CISO -ove osiguravanje podataka o poduzećuSignalgate: Saznanje za CISO -ove osiguravanje podataka o poduzeću
  • Ovaj Bluetooth tracker zaradio je moje povjerenje preko airtagova (a također djeluje i na Androidu)Ovaj Bluetooth tracker zaradio je moje povjerenje preko airtagova (a također djeluje i na Androidu)
  • PSNI imenuje pravnog savjetnika za izvještavanje o ponašanju policije nakon preglede McCullough -aPSNI imenuje pravnog savjetnika za izvještavanje o ponašanju policije nakon preglede McCullough -a
  • Pet godina kasnije, konačno je vrijeme za Netflixovu seriju Creed Assassin’s Assassin’s AssassinPet godina kasnije, konačno je vrijeme za Netflixovu seriju Creed Assassin’s Assassin’s Assassin

Previous Article

Microsoft napokon otvoreni izvori (većina) Windows podsustava za Linux

Next Article

AI jede potražnju napajanja podatkovnog centra - i samo se pogoršava

Posljednje objave

Evo naših PS Plus Extra i Premium igara za listopad

Evo naših PS Plus Extra i Premium igara za listopad

Tvrtke koje su spremne za AI pretvaranje mrežnih pilota u profit

Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts

Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts

Sadržaj

  • 1 Uspon Dark LLMS -a
  • 2 Slab odgovor tehnoloških tvrtki
    • 2.1 Morate pročitati sigurnosnu pokrivenost
  • 3 Modeli otvorenog koda otežavaju kontrolu rizika
  • 4 Što treba učiniti sada

Novosti

  • Evo naših PS Plus Extra i Premium igara za listopad 15. listopada 2025
  • Tvrtke koje su spremne za AI pretvaranje mrežnih pilota u profit 15. listopada 2025
  • Dfinity launches Caffeine, an AI platform that builds production apps from natural language prompts 15. listopada 2025
  • SpaceX-ov drugi generalni zvjezdani brod potpisuje se gotovo savršenim testnim letom 15. listopada 2025
  • Njemačka država zamjenjuje Microsoft Exchange i Outlook e-poštom otvorenog koda 15. listopada 2025
  • Samsung nudi 100 dolara trenutačne ponude novim korisnicima XR slušalica prije nego što je Upakiran 15. listopada 2025
  • Google fotografije stvaranje kolaža dobiva velika poboljšanja 14. listopada 2025
  • Assassin’s Creed Franchise olovo ostavlja Ubisoft nakon formiranja podružnice Tencent 14. listopada 2025
  • Sita otkriva prevlake za vlaknastim optičkim aerodromima 14. listopada 2025
  • Jezični modeli koji se samo usavršavaju postaju stvarnost s MIT-ovom ažuriranom tehnikom pečata 14. listopada 2025

O nama

Oblak Znanja je blog edukativnog karaktera i namijenjen je svima koji žele unaprijediti svoje znanje iz područja računala i interneta.

Naš cilj je edukacija i pisanje zanimljivih objava kojima ćemo zajedno učiti i informirati se o svijetu informatike.

Na ovom blogu zabranjeno je svako kopiranje sadržaja bez dozvole autora.

Oblak Znanja

Oznake

besplatni powerpoint predlošci društvene mreže excel facebook firefox gmail google+ Google Chrome halloween halloween walpapers internet kartice linkedin profil linux microsoft Mozilla Firefox ms powerpoint oblak znanja office 2007 office savjeti online kupovina pick powerpoint powerpoint predložak powerpoint savjeti rastući niz savjet slike za radnu površinu spremanje datoteka strani jezik tipkovnicke kratice twitter twitter alati uređivanje slika wallpaper clock web preglednik windows windows 7 windows aplikacije windows vista word word 2007 word savjeti youtube savjeti youtube tipkovničke kratice