एआई एजेंट: जब ऑटोफ़िक्स ही पिछला दरवाज़ा बन जाए

रोबोट ने कोड में एक समस्या पकड़ी, सुधार सुझाया, किसी ने "स्वीकार करें" पर क्लिक किया और उस सुधार ने मूल समस्या से भी बड़ा छेद खोल दिया। यह कोई कल्पना नहीं है। यह Snowflake के साथ हुआ, एक डेटा कंपनी जिसकी कीमत अरबों में है और जिसके पास सचमुच की सुरक्षा टीम है। Wiz के शोधकर्ताओं ने दिखाया कि एआई से बना एक स्वचालित सुधार सुझाव, जो कंपनी के ऑटोमेशन फ़्लो के भीतर स्वीकार हुआ, आंतरिक Jira तक पहुँचने का रास्ता बन गया। यही एआई एजेंट का वह अंधा कोना है जिसे लगभग कोई नहीं देख रहा: एआई जो शून्य से लिखती है उसका हम ऑडिट करते हैं, पर जो वह "ठीक" करती है उस पर आँख मूँदकर भरोसा कर लेते हैं।

अगर आप कारोबार के मालिक हैं और सोच रहे हैं कि यह प्रोग्रामरों की बात है, तो ज़रा रुकिए। Jira वह जगह है जहाँ कंपनी रखती है कि क्या टूटा है, क्या लॉन्च होने वाला है, किसने किस बात की शिकायत की। यह ऑपरेशन की लॉगबुक है। बाहर का कोई इंसान उसे पढ़कर आपके कारोबार के बारे में आपकी आधी टीम से ज़्यादा जान जाएगा।

असल में हुआ क्या

आम भाषा में सार। GitHub में एक सुविधा है, जिसे ऑटोफ़िक्स कहते हैं, जो एआई से सुरक्षा चेतावनी पढ़वाकर मरम्मत का सुझाव देती है। कागज़ पर शानदार विचार: मशीन ढूँढती है, मशीन ठीक करती है, आप मंज़ूरी देते हैं। दिक्कत वह है जो "मंज़ूरी" के बाद होता है।

इस मामले में, एआई से बना सुधार उस स्वचालित फ़्लो में शामिल हो गया जो हर बार कोड छूने पर चलता है। उस फ़्लो के पास व्यापक अनुमतियाँ थीं और ऐसी क्रेडेंशियल तक पहुँच थी जो दूसरे सिस्टम में घुसने देती थीं। एक शोधकर्ता ने इस प्रक्रिया में हेरफेर किया और आख़िर में कंपनी के Jira तक पहुँच गया।

क्रम पर ध्यान दीजिए, क्योंकि यही कहानी का दिल है:

• एआई ने कोड बनाया।
• कोड एक समीक्षा से गुज़रा जो व्यवहार में सिर्फ़ मुहर थी।
• वह कोड ताकतवर चाबियों वाले माहौल में चला।
• किसी ने नहीं पूछा "अगर यह सुधार गलत हुआ, तो यह कहाँ तक पहुँच सकता है?"।

अलग अलग देखें तो हर कदम वाजिब लगता है। साथ मिलकर वे समस्या बन जाते हैं। और देखिए, Snowflake ने मुश्किल हिस्सा सही किया: रिपोर्ट ली, जल्दी ठीक किया, सार्वजनिक किया। ज़्यादातर कंपनियों को तो पता ही नहीं चलता।

"ठीक करना" क्यों "बनाने" से ज़्यादा खतरनाक है

जब आप एआई से नई सुविधा लिखवाते हैं, आपका दिमाग शक वाला मोड चालू कर देता है। आप पढ़ते हैं, जाँचते हैं, सवाल करते हैं। जब वह उसी बग को ठीक करती है जो उसने खुद बताया था, तब एक अजीब बात होती है: चेतावनी अधिकार के लिबास में आती है। "कमज़ोरी मिली। सुधार सुझाया गया।" यह एंटीवायरस जैसा लगता है। आप मान लेते हैं।

पर मॉडल आपके कारोबार को नहीं समझता। वह कोड के पैटर्न समझता है। उसने दस हज़ार मिलते जुलते सुधार देखे और दस हज़ार एकवाँ बना दिया। उसे अंदाज़ा नहीं कि वह खास फ़ाइल एडमिन अनुमति से चलती है या वह टोकन ग्राहक डेटाबेस तक पहुँच देता है।

एआई मूर्खता से गलती नहीं करती। वह इसलिए गलती करती है क्योंकि उसे पता नहीं कि वह कहाँ पैर रख रही है।

2025 और 2026 में यह एक साधारण वजह से और बिगड़ा: मात्रा बेतहाशा बढ़ गई। जो टीम हफ़्ते में बीस बदलाव देखती थी, अब दो सौ पाती है। औसत गुणवत्ता तो शायद बढ़ी। पर हर बदलाव पर इंसानी ध्यान गिर गया। यह हिसाब किसी ने नहीं लगाया।

इसका आपकी कंपनी से क्या लेना देना

शायद आपके पास दिन में दस हज़ार बार चलने वाला CI/CD नहीं है। पर अगर आप अपने कारोबार में कहीं भी एआई एजेंट इस्तेमाल करते हैं, तो पैटर्न बिल्कुल वही है। कुछ मामले जो मैं व्यवहार में देखता हूँ:

ग्राहकों को जवाब देने वाला एजेंट। आपने बॉट को ऑर्डर सिस्टम से जोड़ दिया ताकि वह स्टेटस देख सके। बढ़िया। पर वह किस अनुमति से देखता है? अगर वह किसी भी ग्राहक का ऑर्डर पढ़ सकता है, तो कोई चालाक ग्राहक बीस मिनट की बातचीत में यह पता कर लेगा।

स्प्रेडशीट या ERP में बदलाव करने वाला ऑटोमेशन। एजेंट के पास "सहूलियत के लिए" लिखने की पहुँच है। एक दिन वह किसी अनुरोध का गलत मतलब निकालता है और एक कॉलम मिटा देता है। कोई बदनीयती नहीं, बस एक गलती। पर नुकसान असली है।

ईमेल से जुड़ाव। एजेंट संदेश छाँटने के लिए इनबॉक्स पढ़ता है। दुनिया का कोई भी व्यक्ति आपको ईमेल भेज सकता है। यानी दुनिया का कोई भी व्यक्ति आपके एजेंट के अंदर टेक्स्ट डाल सकता है। अगर उसके पास जवाब देने और अटैचमेंट भेजने की अनुमति है, तो आपने अभी अभी एक अजनबी को माइक थमा दिया।

साझा कारण एआई नहीं है। साझा कारण अनुमति है। एआई ने बस यह रफ़्तार बढ़ा दी कि गलत सेट की गई अनुमति कितनी जल्दी समस्या बन जाती है।

कोई भी एजेंट चालू करने से पहले तीन सवाल

यह कॉर्पोरेट सुरक्षा की चेकलिस्ट नहीं है। यह वह न्यूनतम है जो मैं हर ऑटोमेशन में करता हूँ, और इसमें पंद्रह मिनट लगते हैं।

1. अगर यह एजेंट बेकाबू हो जाए, तो सबसे बुरा नुकसान क्या हो सकता है? जवाब लिखिए। सचमुच लिखिए। अगर जवाब है "एक गलत ईमेल भेज देगा", तो आराम कीजिए। अगर जवाब है "ग्राहक डेटाबेस मिटा देगा" या "पैसा ट्रांसफ़र कर देगा", तो आगे बढ़ने से पहले आपको एक ब्रेक चाहिए।

2. क्या इसे सच में लिखने की ज़रूरत है, या सिर्फ़ पढ़ने की? छोटी और मझोली कंपनियों में जो एजेंट मैं देखता हूँ, उनमें नब्बे प्रतिशत को सिर्फ़ पढ़ने की ज़रूरत होती है। देखना, सारांश बनाना, बताना। लिखने का काम इंसान करे, देखने के बाद। लिखने को पढ़ने से बदल देने पर ज़्यादातर जोखिम खत्म हो जाता है और मूल्य लगभग कुछ भी कम नहीं होता।

3. जब यह गलती करे, तो क्या आपको पता चलेगा? सवाल "अगर" का नहीं है। सवाल "जब" का है। अगर एजेंट गलती करे और किसी को अलर्ट न मिले, तो आपको ग्राहक की शिकायत से पता चलेगा। या इससे भी बुरा, पता ही नहीं चलेगा।

मंज़ूरी देने वाला इंसान सचमुच इंसान होना चाहिए

यहाँ मेरी अलोकप्रिय राय है: इंसानी मुहर वाली स्वचालित समीक्षा, कोई समीक्षा न होने से भी बुरी है। क्योंकि वह सुरक्षा के बिना सुरक्षा का एहसास पैदा करती है।

अगर आपकी प्रक्रिया है "एआई सुझाती है, फलाना मंज़ूरी देता है" और फलाना दिन में चालीस चीज़ों को तीन तीन मिनट में मंज़ूरी देता है, तो आपके पास मंज़ूरी नहीं है। नाटक है। और नाटक महँगा पड़ता है: जिस दिन गड़बड़ होगी, सब फलाने की तरफ़ उँगली उठाएँगे, जिसे असल में कभी ठीक से देखने का मौका ही नहीं मिला।

सही तरीका यह है कि जिसे इंसानी नज़र चाहिए और जिसे नहीं, दोनों को अलग किया जाए। फ़ुटर में टेक्स्ट सुधार? अपने आप, चलने दीजिए। पर जो कुछ भी क्रेडेंशियल, अनुमति, भुगतान या ग्राहक डेटा को छूता है? वह कतार में रुके और ऐसे इंसान का इंतज़ार करे जिसके पास सोचने का वक्त हो। कतार में कम चीज़ें होंगी तो हर एक पर ज़्यादा ध्यान जाएगा।

व्यवहार में यह अक्सर आपके ऑटोमेशन में दो या तीन लाइन का एक सीधा नियम बन जाता है। यह छह महीने का प्रोजेक्ट नहीं है।

तसल्ली की बात: जो पकड़ा गया, वही देख रहा था

Snowflake की कहानी में एक बात है जो मुझे सबसे अहम लगती है, और उस पर लगभग कोई बात नहीं करता। यह छेद सिर्फ़ इसलिए सामने आया क्योंकि बाहरी शोधकर्ताओं के लिए खामियाँ बताने का एक कार्यक्रम मौजूद था। कोई गया, ढूँढा, पाया, बताया। कंपनी ने ठीक किया और छापने भी दिया।

यानी: जो कंपनियाँ इस तरह की खबरों में आती हैं, वे आमतौर पर औसत से ज़्यादा कर रही होती हैं, कम नहीं। जो कभी खबर में नहीं आतीं, वे ज़्यादा सुरक्षित नहीं हैं। उन पर बस कम नज़र है।

इससे आपको तसल्ली भी होनी चाहिए और बेचैनी भी। तसल्ली इसलिए कि इस मामले में गलती होना सामान्य है, किसी के पास पूरा हल नहीं है। बेचैनी इसलिए कि अगर Snowflake, अपने पूरे तामझाम के साथ, चूक गई, तो तीन दोपहरों में जल्दबाज़ी में बनाया आपका ऑटोमेशन शायद इससे भी बुरा है। और कोई ढूँढ नहीं रहा।

मैं यह नहीं कह रहा कि अपने एजेंट बंद कर दीजिए। मैं रोज़ एआई से ऑटोमेशन बनाता हूँ और पीछे नहीं लौटूँगा। फ़ायदा बहुत बड़ा है। मैं यह कह रहा हूँ कि "एआई ने सुझाया" को गुणवत्ता की गारंटी मानना बंद कीजिए। यह एक सुझाव है। बहुत अच्छा सुझाव, ऐसी चीज़ का दिया हुआ जिसे पता नहीं कि वह कहाँ पैर रख रही है।

अगर आपके कारोबार में पहले से एजेंट चल रहे हैं और आपने ऊपर वाले तीन सवाल कभी नहीं पूछे, तो आधे घंटे की बातचीत में यह नक्शा बनाना फ़ायदेमंद है कि क्या खुला पड़ा है। इसे ठीक करना अक्सर दिखने से आसान होता है, और बाद के मुकाबले अभी कहीं सस्ता। मुझे बताइए आपने क्या ऑटोमेट किया है और हम साथ मिलकर देखते हैं।

Snowflake में सुरक्षा सेंध लगी, वजह थी एआई का सुझाया एक सुधार जिसे किसी ने बिना ठीक से देखे मंज़ूर कर दिया।

जिस बात ने मुझे पकड़ा वह यह: एआई जो शून्य से लिखती है उस पर हम शक करते हैं, लेकिन जो वह "ठीक" करती है उसे लगभग आँख मूँदकर मान लेते हैं। सुरक्षा चेतावनी का चेहरा अधिकार जैसा लगता है, और अधिकार का चेहरा हमारी आलोचनात्मक सोच बंद कर देता है।

समस्या कभी एआई नहीं थी। समस्या वह अनुमति थी जो उसे मिली।

कोई भी एजेंट चालू करने से पहले मैं तीन सवाल पूछता हूँ: अगर यह बेकाबू हो जाए तो सबसे बड़ा नुकसान क्या होगा? क्या इसे सच में लिखने की ज़रूरत है या सिर्फ़ पढ़ने की? और जब यह गलती करे, तो क्या किसी को पता चलेगा?

इंसानी मुहर वाली स्वचालित समीक्षा, समीक्षा न होने से भी बुरी है, क्योंकि वह सुरक्षा के बिना सुरक्षा का एहसास पैदा करती है।

अगर आपके कारोबार में पहले से एजेंट चल रहे हैं और आपने ये सवाल कभी नहीं पूछे, तो मुझे बताइए आपने क्या ऑटोमेट किया है। हम साथ मिलकर देखते हैं।

#एआई #एआईएजेंट #ऑटोमेशन #सूचनासुरक्षा #टेक्नोलॉजी