लोकल एआई एजेंट: 14MB में, बिना इंटरनेट के

क्या कभी आपका एआई एपीआई बिल आया और आपने सोचा "मैंने तो बस ईमेल छांटने के लिए इस्तेमाल किया था"? बिल्कुल यही होता है। कंपनियां एआई से जो करती हैं, उसका बड़ा हिस्सा छोटा, दोहराव वाला और उबाऊ काम है। और हम पड़ोस की दुकान तक जाने के लिए रॉकेट का किराया दे रहे हैं। इसीलिए लोकल एआई एजेंट, यानी बहुत छोटे मॉडल जो खुद डिवाइस पर चलते हैं, अब गंभीर चर्चा का विषय बन गए हैं।

इस हफ्ते Cactus Compute का एक मॉडल आया, नाम है Needle2। यह 14 मेगाबाइट का है। यह टाइपिंग की गलती नहीं है। चौदह। आपके फोन की एक फोटो इससे भारी होती है। और यह चैटबॉट नहीं है। यह टूल कॉल करने के लिए बना मॉडल है, यानी यह तय करता है कि कौन सा एक्शन चलाना है और किन पैरामीटर के साथ। यह फोन पर चलता है, घड़ी पर, स्मार्ट लॉक पर, गोदाम के रोबोट पर।

जब एआई डिवाइस के अंदर आ जाती है, तब क्या बदलता है

आज का तरीका यह है: आपका ऐप सवाल भेजता है, क्लाउड पर जाता है, इंतज़ार करता है, जवाब लेता है, दिखा देता है। यह ठीक काम करता है। पर इसके साथ तीन दिक्कतें हैं जिनका सामना मीटिंग में कोई नहीं करना चाहता।

पहली, लागत। आप टोकन के हिसाब से पैसे देते हैं, और टोकन का खर्च घटता बढ़ता रहता है। प्रोडक्ट जितना ज़्यादा चलेगा, बिल उतना बड़ा होगा। यह दुनिया का इकलौता धंधा है जहां सफलता आपको सज़ा देती है।

दूसरी, लेटेंसी। क्लाउड तक आना जाना 300 मिलीसेकंड से 2 सेकंड तक लेता है, ग्राहक के नेटवर्क पर निर्भर करता है। टेक्स्ट लिखने के लिए यह ठीक है। दरवाज़ा खोलने का फैसला करने वाले लॉक के लिए यह युगों जैसा लगता है।

तीसरी, डेटा। जब भी टेक्स्ट आपकी मशीन से बाहर जाता है, ऑडिट में किसी को बताना पड़ता है कि उसके साथ क्या होता है। मैंने हेल्थकेयर का प्रोजेक्ट इसी सवाल पर दो महीने रुका हुआ देखा है।

लोकल मॉडल तीनों को एक साथ हल करता है। ऐप इंस्टॉल होने के बाद हर कॉल की लागत शून्य। जवाब कुछ ही मिलीसेकंड में। और डेटा कभी डिवाइस से बाहर नहीं जाता, जिससे प्राइवेसी और डेटा नियमों वाली बातचीत बहुत छोटी हो जाती है।

हर काम के लिए किसी जीनियस की ज़रूरत नहीं होती। बहुत से कामों के लिए बस कोई ऐसा चाहिए जो गलत बटन न दबाए।

पर क्या 14MB कुछ सोचता भी है?

नहीं, और यही पूरी बात है। इतने छोटे मॉडल से आपका बिज़नेस प्रपोज़ल नहीं लिखा जाएगा, कॉन्ट्रैक्ट का विश्लेषण नहीं होगा, और यह उस Claude या GPT की जगह नहीं लेगा जिसे आप असली काम के लिए इस्तेमाल करते हैं। अगर आप इससे मार्केट एनालिसिस मांगेंगे, तो यह कहानी गढ़ देगा। पूरे आत्मविश्वास के साथ।

यह सिर्फ एक काम करता है, और अच्छा करता है: एक वाक्य लेकर उसे व्यवस्थित एक्शन में बदलना।

• "कमरे की लाइट बंद करो" बन जाता है luz.desligar(comodo="sala")
• "मंगलवार दोपहर 2 बजे पाउलो के साथ मीटिंग लगाओ" बन जाता है कैलेंडर कॉल, सारे फील्ड भरे हुए
• "ग्राहक ने गलत बिलिंग की शिकायत की" बन जाता है सही कैटेगरी वाला टिकट

यह स्मार्ट रूटिंग है। इंसानी भाषा को मशीन कमांड में बदलना। ज़्यादातर ऑटोमेशन को इसी की ज़रूरत होती है, करीब 70% काम यही है, और हम यह काम अरबों पैरामीटर वाले मॉडल से करवा रहे थे।

सीधी तुलना यह है: यह सीनियर वकील रखने और एक बहुत अच्छी रिसेप्शनिस्ट रखने का फर्क है। आप सीनियर वकील से कॉल ट्रांसफर नहीं करवाते।

असली बिज़नेस में यह कहां काम आता है

बात को ज़मीन पर लाता हूं। तीन हालात जो यहां लगातार सामने आते हैं।

फील्ड ऐप। मेंटेनेंस टेक्नीशियन, डिलीवरी वाला, बाहर घूमने वाला सेल्समैन। ऐसे लोग जो गोदाम, बेसमेंट या हाईवे पर काम करते हैं, जहां नेटवर्क मर जाता है। आज उनका ऐप या तो उबाऊ फॉर्म है, या इंटरनेट पर निर्भर है कि वह समझ सके कि आदमी ने क्या लिखा। लोकल मॉडल के साथ वह बोलता है "कंप्रेसर बदल दिया, पार्ट 4402, ग्राहक ने साइन कर दिया" और ऐप रिपोर्ट भर देता है। बिना सिग्नल के। सिंक बाद में हो जाएगा।

मैसेज की छंटाई। ऐसी कंपनी जिसे रोज़ 300 मैसेज मिलते हैं। हर मैसेज को एपीआई से छांटना (कोटेशन, सपोर्ट, शिकायत, स्पैम) प्रति मैसेज कम खर्च है, पर खर्च तो है। और हर मैसेज किसी तीसरे के सर्वर से गुज़रता है। आपके अपने सर्वर पर चलता एक छोटा मॉडल यह छंटाई कर देता है, और सिर्फ मुश्किल चीज़ें बड़े मॉडल तक जाती हैं।

फिजिकल डिवाइस। कियोस्क, गेट, कंट्रोल पैनल, इंडस्ट्रियल मशीन। यहां तो बहस ही नहीं है। अगर फैसला क्लाउड पर निर्भर है और क्लाउड गिर जाए, तो मशीन सजावट का सामान बन जाती है।

पैटर्न पर ध्यान दीजिए। इनमें से किसी में भी असली अड़चन दिमाग की कमी नहीं है। अड़चन लागत, कनेक्शन या प्राइवेसी है।

वह तरकीब जो मॉडल से भी ज़्यादा कीमती है

अब असली काम की बात, जो Needle2 के होने या न होने से अलग है।

जो आर्किटेक्चर काम करता है वह परतों में है। आगे छोटा मॉडल, पीछे बड़ा मॉडल। छोटा मॉडल हर आने वाली चीज़ लेता है, आसान काम खुद निपटा देता है, और मुश्किल काम आगे भेज देता है। ठीक वैसे ही जैसे अच्छा ह्यूमन सपोर्ट चलता है: लेवल 1 और लेवल 2।

व्यवहार में, किसी आम सपोर्ट फ्लो में 60% से 80% तक चीज़ें दोहराव होती हैं। बिल की दूसरी कॉपी, खुलने का समय, ऑर्डर का स्टेटस, रजिस्ट्रेशन में बदलाव। अगर लोकल मॉडल इतना हिस्सा संभाल ले, तो आपका एपीआई बिल उसी अनुपात में गिरता है। और क्वालिटी नहीं गिरती, क्योंकि मुश्किल काम अच्छे मॉडल के पास ही जाता रहता है।

मैंने यह तर्क एक क्लाइंट के यहां बिना लोकल मॉडल के भी लागू किया था, सिर्फ एआई से पहले एक रूल फिल्टर। पहले ही महीने बिल 40% गिर गया। आगे छोटा मॉडल लगा दें तो कटौती और बड़ी होती है और फिल्टर ज़्यादा समझदार हो जाता है, क्योंकि वह लिखने के अलग अलग तरीके पकड़ लेता है ("बिल", "बील", "वो पेमेंट वाला कागज़")।

सबक यह नहीं है कि "छोटा मॉडल इस्तेमाल कीजिए"। सबक यह है: सब कुछ सबसे महंगे मॉडल को भेजना बंद कीजिए। यह एआई की दुनिया में रोज़ नुक्कड़ तक जाने के लिए महंगी टैक्सी बुक करने जैसा है, और फिर बिल देखकर शिकायत करने जैसा।

इसके साथ मैं अभी क्या नहीं करूंगा

एक साफ राय, चूंकि बात चल ही रही है: मैं 14MB के मॉडल को अकेले फैसला लेने नहीं दूंगा, अगर मामला पैसे, सेहत या किसी की सुरक्षा का हो। इसलिए नहीं कि यह खराब है, बल्कि इसलिए कि छोटे मॉडल की गलती की दर ज़्यादा होती है, और आपके पास उस गलती के लिए योजना होनी चाहिए।

सही तरीका यह है कि रास्ता खुला रखिए। अगर मॉडल को पक्का पता नहीं है, तो वह अंदाज़ा न लगाए, वह आगे बढ़ा दे। बड़े मॉडल को भेजे, या इंसान को। यह "मुझे नहीं पता" अगर ठीक से लागू हो, तो दस पॉइंट एक्यूरेसी से ज़्यादा कीमती है।

और इसे ऐसे प्रोडक्ट में डालने का कोई फायदा नहीं जो अभी बना ही नहीं। अगर आपका फ्लो मैप ही नहीं है, तो पहले लोकल एआई लगाना उस चीज़ को ऑप्टिमाइज़ करना है जिसके इस्तेमाल का ही पता नहीं। पहले महंगे और आसान तरीके से चालू कीजिए। फिर असली डेटा हाथ में लेकर सस्ता कीजिए।

बिना खर्च किए शुरुआत कहां से करें

एक छोटा रास्ता, क्रम में:

1. अपने सपोर्ट या ऐप से 200 असली इंटरैक्शन उठाइए। बनाइए मत, असली ही लीजिए।
2. दो ढेर बनाइए: "तय जवाब से काम चल जाता है" और "सोचना पड़ता है"।
3. अगर पहले ढेर में 100 से ज़्यादा हैं, तो आपके पास साफ मामला है। अगर 20 हैं, तो छोड़िए और कोई दूसरा काम कीजिए।
4. नापिए कि पहला ढेर आज कितना खर्च करवा रहा है: एपीआई में, लोगों के समय में, इंतज़ार करते ग्राहक में।

वही आंकड़ा आपका बजट है। अगर वह छोटा है, बढ़िया, आपने अभी एक पूरा प्रोजेक्ट बचा लिया। अगर बड़ा है, तो अब आपको ठीक ठीक पता है कि आप क्या खरीद रहे हैं।

Needle2 और इस तरह के मॉडलों में दिलचस्प बात उनका साइज़ नहीं है। दिलचस्प उनका छुपा हुआ संदेश है: इंडस्ट्री ने दो साल बड़े मॉडल के पीछे भागकर बिताए, और अब पता चला कि बहुत सी कंपनियों की समस्या इसका उल्टा है। दिमाग की कमी नहीं है। कमी यह है कि सही दिमाग को सही जगह पर, सही लागत के साथ लगाया जाए।

अगर आपका काम सब कुछ एआई से गुज़ारता है और आपको शक है कि आसान काम के लिए ज़्यादा पैसे जा रहे हैं, तो यह आमतौर पर एक दोपहर में नापा जा सकता है। बताइए आप क्या ऑटोमेट कर रहे हैं और हम देखते हैं कि कटौती सचमुच मुमकिन है या यह सिर्फ सुंदर थ्योरी है।

आपका एआई बिल फिर से बढ़ा, और उसका बड़ा हिस्सा सिर्फ ईमेल छांटने में गया।

इस हफ्ते Needle2 आया, 14 मेगाबाइट का एक मॉडल जो खुद डिवाइस पर चलता है, बिना इंटरनेट। यह सोचता नहीं, कॉन्ट्रैक्ट नहीं पढ़ता, प्रपोज़ल नहीं लिखता। यह सिर्फ एक काम करता है: वाक्य को एक्शन में बदलना।

और सच कहूं, मैं जितने ऑटोमेशन देखता हूं उनमें से करीब 70% को बस यही चाहिए, मगर वे अरबों पैरामीटर वाले मॉडल पर चल रहे हैं।

हिसाब मॉडल के साइज़ का नहीं है। हिसाब यह है कि रोज़ नुक्कड़ तक जाने के लिए महंगी टैक्सी बुक करना बंद कीजिए और फिर बिल देखकर शिकायत मत कीजिए।

आगे छोटा मॉडल, पीछे बड़ा मॉडल। जो उसे नहीं आता, वह अंदाज़ा नहीं लगाता, आगे भेज देता है। मैंने एआई से पहले सिर्फ रूल फिल्टर लगाकर 40% खर्च गिरते देखा है।

अगर आपको शक है कि आसान काम के लिए ज़्यादा पैसे दे रहे हैं, तो यह एक दोपहर में नापा जा सकता है। बताइए आप क्या ऑटोमेट कर रहे हैं।

#आर्टिफिशियलइंटेलिजेंस #लोकलएआई #EdgeAI #ऑटोमेशन #टेक्नोलॉजी