La programming na tinutulungan ng artipisyal na katalinuhan Hindi na ito pangako sa hinaharap at naging pang-araw-araw na realidad na para sa libu-libong development team. Sa loob lamang ng ilang segundo, ang isang AI assistant ay kayang gumawa ng kumpletong mga function, script, at maging buong aplikasyon, at pinapalakas nito ang produktibidad, ngunit pinapataas din nito ang mga panganib.
Ang hindi pa rin lubos na nauunawaan ng maraming organisasyon ay ang Walang pananagutan ang AIKapag nabigo ang code, ang teknikal na pangkat ang kailangang harapin ang problema. At ang problema ay hindi lamang ang code ay maaaring hindi maganda ang disenyo o mahirap panatilihin; ang tunay na hamon ay, sa malaking porsyento ng mga kaso, umaabot ito sa produksyon na may malubhang kahinaan sa seguridad.
Kodigo na binuo ng AI: itala ang produktibidad at ang hindi inaasahang pag-atake sa ibabaw
Sa napakaikling panahon, napunta tayo sa isang senaryo kung saan Napakataas na porsyento ng production code ay nagmumula na sa mga modelo ng AI.Ipinapahiwatig ng mga pag-aaral na kinikilala ng sangkatlo ng mga developer na mahigit 60% ng kanilang mga isinusulat ay nagmumula sa matatalinong assistant, at nakakakita na ang mga kumpanya ng kahanga-hangang pagtaas ng produktibidad salamat sa tinatawag na "vibe coding," o prompt-based programming.
Ang kabilang panig ng barya na iyan ay Humigit-kumulang kalahati ng awtomatikong nabuong code ay may ilang kahinaanAng mga ito ay mula sa mga SQL injection hanggang sa mga cryptographic error at mga hindi maayos na dinisenyong access control. Sa ilang mga wika, tulad ng Java, natuklasan na mahigit 70% ng code na iminungkahi ng AI ay nagtataglay ng mga depekto sa seguridad.
Ang sitwasyong ito ay nagdudulot Maraming organisasyon ang naglalabas ng software sa produksyon na pinaghihinalaan na nila na hindi perpekto.May mga ulat na mahigit 80% ng mga team ang umamin na nakapag-deploy na sila ng code kahit alam nilang hindi pa ito ganap na mature, at halos lahat sa kanila ay nakaranas ng ilang insidente sa cybersecurity na nauugnay sa mga kahinaan sa nasabing code.
Para mas lumala pa ang sitwasyon, ang penomeno ng Shadow AIAng mga empleyadong gumagamit ng mga generative AI tool nang walang pangangasiwa ng organisasyon, kinokopya at ipina-paste ang mga snippet ng code o kahit na ipina-paste ang sensitibong impormasyon sa mga prompt. Nagbubukas ito ng pinto sa mga pagtagas ng data at ang tahimik na paglaganap ng mga hindi secure na bahagi, na imposibleng matunton pagkatapos.
Marami sa mga panganib na ito ay pinalala ng malawakang pagdagsa ng mga "mamamayang developer"Ang mga kawaning walang matibay na karanasan sa software engineering ay umaasa sa AI upang lumikha ng mga automation, maliliit na internal na app, o mga integrasyon. Ang code ay nakakabuo ng mga functional na resulta, ngunit kadalasan ay kulang ito kahit sa mga pinakasimpleng garantiya ng seguridad at kalidad.
Ang mga pangunahing panganib sa seguridad sa code na binuo ng AI
Ang paglitaw ng AI sa pagbuo ng software ay hindi nakaimbento ng mga bagong kahinaan, ngunit pinarami ang bilis at lakas ng paglitaw ng mga lumang kahinaanMaraming pagsusuri ng mga kompanya ng cybersecurity ang sumasang-ayon sa ilang partikular na kritikal na panganib kapag ang pangkat ay masyadong umaasa sa mga generative tool.
Isa sa mga pinakanakikita ay ang "vibe coding" nang walang serye ng mga pagsubok o seryosong pagsusuriAng mga kumpletong function o serbisyo ay nabubuo sa punto ng isang prompt, sinusuri nang mababaw upang matiyak na "gumagana" ang mga ito, at pagkatapos ay isinasama nang walang pagsubok sa seguridad, peer review, o awtomatikong pagsusuri. Nagbibigay-daan ito upang makalusot ang mga pangunahing kahinaan, mga kahinaan na maaaring matukoy ng anumang minimally rigid na pag-audit.
Nakakabahala rin ang mga ataques a la cadena de suministro de softwareAng mga modelo ng AI ay may posibilidad na magrekomenda ng mga third-party dependencies upang malutas ang mga karaniwang problema. Kung ang mga dependencies na ito ay hindi sinusubaybayan at sinusuri gamit ang mga tool ng Software Composition Analysis (SCA), magbubukas ito ng pinto sa pagpapakilala ng mga malisyosong library o nakompromisong bersyon sa libu-libong proyekto sa pamamagitan ng isang aksyon lamang.
La Kawalan ng patuloy na pagsubaybay at pag-awdit ng mga panlabas na pakete Pinapayagan nito ang mga module na may obfuscated code o kahina-hinalang pag-uugali na tumakbo sa loob ng mga system nang hindi naglalabas ng mga alerto. Kapag ang AI ay nagmumungkahi at nagsasama ng mga bahaging ito nang napakadali, ang panganib ng malware na pumapasok na nagbabalatkayo bilang isang "hindi nakakapinsalang" library ay tumataas nang husto.
Ang isa pang maselang harapan ay ang Pagsasama ng mga modelo ng wika sa mga database at mga panloob na sistemaAng pagkonekta ng isang LLM sa impormasyon ng korporasyon nang walang sapat na kontrol ay nagbubukas ng pinto upang mag-udyok ng pag-iniksyon at mag-udyok ng mga pag-atake ng pagkalason: mga malisyosong tagubilin na nakatago sa data o mensahe na pumipilit sa modelo na magbunyag ng mga lihim, laktawan ang mga patakaran, o magsagawa ng mga hindi wastong aksyon.
Bukod pa rito, ang mga sumusunod ay natuklasan: libu-libong aktibong kredensyal at sikreto sa mga pampublikong dataset na ginagamit upang sanayin ang mga modelo mula sa AI. Ang mga API key, password, at token ay napupunta sa mga repository, forum, o code sample, at maaaring muling lumitaw sa mga tugon ng isang modelo o mapagsamantalahan ng mga attacker na nagsusuri ng mga dataset na iyon.
Hindi natin dapat kalimutan ang ugat ng problema: Ang kaligtasan, ayon sa disenyo, ay nananatiling halos walaInaamin ng karamihan sa mga developer na mas maraming oras ang ginugugol nila sa pag-aayos ng mga bug kaysa sa pagsasama ng mga kinakailangan sa seguridad mula sa yugto ng disenyo. Sa mga kapaligiran kung saan ang bilis ng paghahatid ay pinakamahalaga, ang presyur sa negosyo ay nagtutulak sa mga developer na "ilabas na ang functionality ngayon" at iwanan ang seguridad para sa ibang pagkakataon... kung sakaling dumating ang oras na iyon.
Ang pananaw ng mga CISO, arkitekto, at eksperto: tanggapin ang AI, ngunit may kontrol
Sa iba't ibang propesyonal na pagpupulong at mga roundtable, ang mga cybersecurity manager mula sa pagbabangko, industriya, pagkonsulta sa teknolohiya, at mga kumpanya ng serbisyo ay sumasang-ayon na Hindi na opsyonal ang AI sa pagbuo ng codeMalawakan itong ginagamit at walang matinong CISO ang mag-iisip na ipagbawal ito nang tuluyan.
Ang kanilang isinasaalang-alang ay Paano mabawasan ang mga panganib nang hindi hinaharangan ang inobasyonMarami ang nagtataguyod ng mga ligtas na estratehiya sa pag-develop batay sa pamamaraang "shift left": pagdadala ng pagsubok sa seguridad, pagsusuri ng SAST, at pagsusuri ng dependency sa mga pinakamaagang yugto ng lifecycle ng software, kapag ang developer—o AI—ay sumusulat ng mga unang linya.
Ipinapalagay ng pagbabagong ito Hindi na dumarating ang mga cybersecurity team sa dulo, kapag ang lahat ay na-develop na at nasa produksyon na.Sa halip na sabihin lamang na kailangan itong i-scrap at muling itayo, sinusuportahan nila ang pag-develop mula sa pinakaunang commit, isinasama ang mga tool na nagsusuri ng code sa real time at nag-aalok ng mga agarang rekomendasyon.
Sa mga organisasyon kung saan ang pag-develop ay outsourced o ang dami ng proprietary code ay hindi napakalaki, hinihingi ng mga security manager kakayahang makita kung paano nabubuo ang code na iyonGusto nila ng katiyakan na gumagamit ang mga vendor ng mga ligtas na pamamaraan, hindi basta-basta umaasa sa mga AI assistant, at inilalagay ang code sa mga scanner at pormal na pagsusuri bago ang paghahatid.
Nagsisimula nang makita ng ibang mga CISO ang mga developer bilang mga "validator" ng kung ano ang nalilikha ng AISa halip na bilang mga may-akda ng bawat linya, nagbabago ang papel: hindi na lamang ito tungkol sa paggawa ng code, kundi tungkol sa pag-unawa dito, pagtatanong dito, pagsusuri nito, at pagpapabuti ng iminumungkahi ng modelo, lalo na sa mga sensitibong lugar tulad ng authentication, awtorisasyon, encryption, o pagproseso ng personal na data.
Sa mga kompanyang may malaking halaga ng legacy software, ang pokus ay nasa kontrolin ang mga kahinaan na lumalabas sa mga third-party library at sa mga lumang layer na walang sinuman ang nangangahas na hawakan. Dito, ang mga automated analysis tool at AI agent na dalubhasa sa seguridad ay nagsisimula nang tumulong sa pagmamapa ng mga panganib at pagbibigay-priyoridad sa kung ano ang kailangang unang ayusin.
AI bilang isang kaalyadong nagtatanggol: pagtuklas, pagbibigay-priyoridad, at pagtugon
Ang parehong teknolohiya na nagpapadali sa pagsulat ng mga hindi secure na code ay radikal ding nagbabago kung paano natin ipinagtatanggol ang ating sarili laban dito. Sa mga security operations center (SOC), mga platform ng SIEM, at mga tool sa pagsusuri ng code, Ang generative AI at mga modelo ng deep learning ay nagiging pangunahing bahagi.
Mga detection engine na nakabatay sa AI Hindi nila nililimitahan ang kanilang sarili sa paghahanap ng mga static na lagda o mga patternKaya nilang suriin ang pag-uugali ng code, daloy ng pagpapatupad, at mga semantikong ugnayan sa pagitan ng mga function. Sinanay gamit ang napakalaking repositoryo at totoong datos ng banta, natutukoy nila ang mga kahinaan at malisyosong lohika kahit na ang code ay nakasulat sa mga hindi pangkaraniwang istilo o pinaghalong wika.
Bukod pa rito, ang mga modelong ito ay nag-aalok ng konteksto ng banta at matalinong pagbibigay-priyoridadHindi lahat ng kahinaan ay nangangailangan ng parehong pagsisikap: ang isang maaaring pagsamantalahang depekto sa isang kritikal na serbisyong nakalantad sa internet ay may mas mabigat na epekto kaysa sa isang bug sa isang panloob na tool. Maaaring i-cross-reference ng AI ang impormasyon ng pagkakalantad, kritikalidad ng asset, kasaysayan ng pagsasamantala, at aktwal na configuration upang unahin ang mga alerto at ituon ang team sa kung ano ang tunay na mapanganib.
Ang isa pang matibay na punto ay ang patuloy na pagkatuto at mga kasanayan sa pag-aangkopHabang nagbabago ang mga taktika ng mga umaatake at nagbabago ang mga istilo ng pag-coding, inaayos ang mga modelo, isinasama ang mga bagong vector ng pag-atake at mga panuntunang nakuha mula sa mga insidente sa totoong mundo. Ginagawa nitong isang buhay na organismo ang mga depensa na lumalaki kasama ng mismong ecosystem ng software.
Sa larangan ng pagtugon sa insidente, ang generative AI ay nagbibigay-daan awtomatiko ang isang malaking bahagi ng mga unang aksyonPagkategorya ng mga kaganapan, pagbuo ng script ng tugon, paghihiwalay ng mga apektadong sistema, mga rekomendasyon sa pagpapagaan ng epekto, at paglikha ng malinaw na mga ulat para sa mga pangkat ng teknikal at pamamahala. Ang lahat ng ito ay nakakabawas sa oras ng pagtugon, nakakaiwas sa mga pagkakamali, at nakakapagpagaan sa mga analyst ng paulit-ulit na mga gawain.
Ginagamit din ang mga generative model para sa gayahin ang mga cyberattack at sanayin ang mga koponan na may makatotohanang mga senaryo. Ang AI ay lumilikha ng mga kapani-paniwalang kampanya sa phishing, mga kumplikadong pagkakasunud-sunod ng pag-atake, o mga maanomalyang pattern ng pag-uugali na pumipilit sa mga analyst na tumugon at pagbutihin ang kanilang mga kakayahan sa paggawa ng desisyon sa ilalim ng presyon.
Malware at AI: hype, kasalukuyang mga limitasyon at posibleng ebolusyon
Kasabay ng pag-usbong ng defensive AI, lumitaw ang iba pang mga teknolohiya mga prototype ng malware na nagsasama ng mga modelo ng wika o na gumagamit ng mga serbisyo ng AI upang pabago-bagong magbago. Ipinakita ng mga eksperimento tulad ng BlackMamba, EyeSpy, o ang Morris II worm na posibleng teknikal na gumamit ng isang LLM upang makabuo ng malisyosong code sa oras ng pagpapatakbo, suriin ang mga target, o magpalaganap ng mga pag-atake sa pamamagitan ng mga iniksyon na tagubilin.
Gayunpaman, itinuturo ng ilang eksperto sa reverse engineering at red teaming na, Sa ngayon, ang mga halimbawang ito ay mas teknikal na mga kakaibang bagay kaysa sa mga hindi malulutas na banta.Ang mga kakayahang ipinapakita nila—polymorphism, in-memory execution, obfuscation, o target selection—ay umiiral na sa mga advanced malware at maaari pa ring matukoy gamit ang mga kasalukuyang depensa.
Isa sa mga dahilan ay iyon Ang code na nabuo ng mga modelong sinanay gamit ang pampublikong datos ay may posibilidad na hindi gaanong sopistikado kaysa sa code na pasadyang isinulat ng isang ekspertong umaatake.Ang mga LLM ay umaasa sa mga natutunang pattern; hindi sila karaniwang nag-iimbento ng mga ganap na bagong arkitektura ng malware mula sa simula, at kadalasang gumagawa ng mga pangkaraniwan, kalabisan, o madaling lagdaan na mga fragment.
Bukod dito, Para maging kapaki-pakinabang ang malware na nakabatay sa AI, kailangan nitong mag-alok ng malinaw na balik sa puhunan. sa mga bumuo nito. Tulad ng nangyari sa ransomware o cryptojacking, hindi natin makikita ang malawakang paggamit ng ilang partikular na pamamaraan hangga't hindi ito maayos na naisasama sa lehitimong software at mayroong mature na imprastraktura na susuporta sa mga ito.
Gayunpaman, sumasang-ayon ang mga eksperto na, kung ang mga modelo ay patuloy na umunlad sa kasalukuyang bilisDarating ang punto kung saan makakatulong talaga sila sa paglikha ng mas kumplikado at adaptibong mga banta. Sa ganitong sitwasyon, kakailanganing higit pang palakasin ang pangangasiwa ng tao, protektahan ang mga modelo mula sa manipulasyon, at tiyakin ang seguridad ng buong pipeline ng AI.
Pagtiyak sa kumpletong siklo ng buhay ng AI: datos, mga modelo, at pipeline
Kapag tinatalakay ang cybersecurity sa AI-generated code, hindi sapat ang pagtingin lamang sa repository: Ang buong pipeline ng AI ay dapat protektahan mula dulo hanggang dulo.mula sa pangongolekta ng datos hanggang sa pag-deploy at pagpapanatili ng modelo.
Ang unang haligi ay ang proteksyon ng datos at mga prompt ng pagsasanayat ang pagpili ng mga ligtas na plataporma tulad ng libreng operating systemKung ang mga dataset ay naglalaman ng sensitibo at hindi nagpapakilalang impormasyon, o kung ang mga user ay naglalagay ng mga sikreto at personal na data sa mga query, may panganib ng pagtagas ng impormasyon, muling paglabas ng mga kredensyal sa mga tugon, o kahit na malawakang paglabag sa data kung ang AI provider ay nakompromiso.
Ang pangalawang haligi ay ang integridad ng mga modelo at algorithmAng mga pag-atake tulad ng data poisoning ay maaaring makahawa sa training data upang baguhin ang mga output; ang ibang mga vector ay naghahangad na samantalahin ang mga kahinaan sa mga inference API upang kunin ang modelo o baguhin ang pag-uugali nito. Mahalaga ang pagpapanatili ng mahigpit na mga kontrol sa pag-access, pag-encrypt, pagsubaybay, at patuloy na pagsusuri.
Ang ikatlong piraso ay ang pamamahala at pangangasiwa sa buong pipelineKabilang dito ang pagsubaybay kung sino ang gumagamit ng AI, para sa anong mga layunin, anong mga uri ng code ang nabubuo nito, anong mga pagsusuri ang sumasailalim dito, at kung paano isinasama ang mga resulta nito sa mga sistema ng produksyon. Kung wala ang kakayahang makitang ito, lalaganap ang Shadow AI, at nagiging imposible ang pamamahala ng panganib.
Kabilang sa mga mabubuting gawi sa larangang ito ang matatag na mga patakaran sa datos, malakas na pag-encrypt, multi-factor authentication, mga prinsipyo ng least privilege para ma-access ang mga modelo, mga guardrail sa mga prompt, mga mandatoryong manu-manong pagsusuri at patuloy na pagsubaybay sa mga input, output at mga totoong epekto sa kapaligiran.
Balangkas ng SHIELD: Pagtatakda ng Malinaw na mga Limitasyon sa Programming na Tinutulungan ng AI
Upang maisalin ang lahat ng nabanggit sa mga praktikal na kontrol, ang ilang mga konsultasyon sa seguridad ay nagpanukala ng mga partikular na balangkas para sa bawasan ang panganib ng "vibe coding"Isa sa mga pinakakomprehensibo ay ang balangkas ng SHIELD, na nagbubuod sa anim na liham ng mga pangunahing prinsipyo para sa responsableng paggamit ng AI sa pag-unlad.
Ang "S" sa SHIELD ay tumutukoy sa Paghihiwalay ng mga tungkulinAng layunin ay pigilan ang mga ahente ng AI na magkaroon ng magkahalong pahintulot na umaabot sa mga kapaligiran ng produksyon. Ang makatwirang paraan ay limitahan ang kanilang saklaw sa pagbuo at pagsubok, nang walang makapangyarihang mga kredensyal o direktang pag-access sa mga totoong database.
Ang "H" ay katumbas ng Tao sa circuitNangangahulugan ito na ang AI-generated code ay dapat palaging suriin at aprubahan ng mga kwalipikadong tauhan, lalo na kapag ginagamit ng mga hindi propesyonal na developer. Walang mahahalagang pagbabago ang dapat pagsamahin nang walang pinangangasiwaang pull request.
Ang "Ako" ay tumutukoy sa Pagpapatunay ng input at outputKinakailangang malinaw na paghiwalayin ang maaasahang mga tagubilin mula sa hindi maaasahang datos, linisin ang mga prompt, kontrolin ang hinihingi sa modelo, at isumite ang resulta sa mga tool tulad ng SAST bago ito isama sa codebase.
Ang "E" ay nakatuon sa Mga modelong pantulong na nakatuon sa kaligtasanSa halip na umasa sa iisang all-purpose assistant, maipapayo na dagdagan ito ng mga partikular na tool para sa secret scanning, control verification, SCA, phantom dependency detection, at infrastructure-as-code configuration verification.
Ang "L" ay tumutukoy sa prinsipyo ng "Least Agency" o pinakamababang ahensyaAng mga ahente ng AI ay dapat gumana nang may pinakamababang posibleng mga pahintulot: walang access sa mga sensitibong file, mahigpit na limitasyon sa mga mapanirang utos, at walang kakayahang awtomatikong isagawa ang mga pagbabago sa mga kritikal na kapaligiran.
Panghuli, ang "D" ay tumutukoy sa Mga kontrol na teknikal na nagtatanggolBago i-deploy, mahalagang patakbuhin ang SCA, i-disable ang anumang mekanismo ng auto-deployment na pumipigil sa interbensyon ng tao, pilitin ang mga pipeline na may mga yugto ng seguridad, at maingat na itala ang bawat aksyon na resulta ng isang mungkahi ng AI.
Ang mga ganitong uri ng frame ay naglalayong sa isang bagay na napakasimple: Samantalahin ang pagbilis na inaalok ng AI nang hindi isinusuko ang kontrolO, sa mas direktang pagbigkas, ang assistant ay dapat sumulat ng mas maraming linya kada minuto, ngunit ang responsibilidad, pamantayan, at mga desisyon ay dapat manatili sa mga kamay ng pangkat ng tao.
Ang buong bagong ecosystem na ito—kasama ang AI na bumubuo ng code nang mabilis, mga depensang pinapagana ng modelo, mga balangkas tulad ng SHIELD, at isang kulturang nahati sa pagitan ng pagmamadali at pag-iingat—ay pumipilit sa mga organisasyon na maging mature. Ang mga nakakapagsama ng mahusay na mga kasanayan sa inhenyeriya, patuloy na pagsasanay sa cybersecurity, mahigpit na pangangasiwa ng tao, at matalinong paggamit ng artificial intelligence ang siyang gagawa ng kanilang code... mabilis gumawa, matatag, ligtas at naaayon sa mga layunin ng negosyonang hindi nahuhulog sa patibong ng pagiging mga mabilis na operator lamang o patuloy na pag-apula ng mga sunog sa seguridad.
