Trust it verifying unsupervised runs

अपर्यवेक्षित (Unsupervised) क्लाउड रन की जाँच के मुख्य सिद्धांत

• जाँच की आवश्यकता: जब आप क्लाउड को कोई कार्य सौंपते हैं और उसे बिना हर कदम पर निगरानी रखे चलाने देते हैं, तो कार्य पूरा होने पर उसकी जाँच करना आवश्यक है। यह जाँच ही क्लाउड कोड को भरोसेमंद बनाती है।
• आनुपातिक सत्यापन (Proportional Verification): सत्यापन की गहराई उस स्तर के अनपर्यवेक्षण के अनुपात में होनी चाहिए जो आपने कार्य को दिया है।
• संक्षिप्त सत्रों के लिए केवल एक नज़र (glance) पर्याप्त है।
• बिना किसी मानवीय हस्तक्षेप के चलने वाले कार्यों के लिए गहन जाँच (real check) आवश्यक है।
• स्वचालित सुरक्षा उपाय (Automated Checks):
• अनपर्यवेक्षित रन को अनुमति दर (permissions) को बायपास करने के बजाय ऑटो मोड में रखें।
• वर्गीकरण (Classifier) खतरों की जाँच करता है, लेकिन कोड की शुद्धता का निर्णय नहीं लेता।
• सत्यापन की सीमा (verification bar) इस बात से निर्धारित होनी चाहिए कि रन कितना अनपर्यवेक्षित था।
• सत्यापन की प्रक्रिया (Verification Process):
• क्लाउड के सारांश (summary) पर भरोसा करने के बजाय, सीधे अंतर (diff) की जाँच से शुरुआत करें।
• कोड समीक्षा (Code Review) चलाएँ ताकि परिवर्तनों की जाँच की जा सके और समस्याओं को चिह्नित किया जा सके।
• यह सुनिश्चित करें कि केवल वे फ़ाइलें ही बदली गई हैं जो योजना का हिस्सा थीं।
• टेस्ट और हुक का उपयोग (Tests and Hooks):
• असली गेट यह है कि क्या टेस्ट पास हुए और क्या क्लाउड ने उन्हें चलाया या केवल दावा किया।
• टेस्ट को एक हुक (hook) के रूप में सेट करें ताकि क्लाउड उसे स्किप न कर सके।
• स्टॉप हुक (Stop Hook): यह टेस्ट चलाता है और विफलता (failure) पर प्रक्रिया को समाप्त होने से रोकता है।
• पोस्ट टूल यूज़ हुक (Post Tool Use Hook): हर संपादन के बाद लिंटिंग (lint) और टाइप चेक करता है।
• एक हुक जो विफलता को सीधे क्लाउड को वापस फीड करता है, उसे बिना पूछे ठीक कर सकता है।
• ठंडा दूसरा मत (Cold Second Opinion):
• किसी भी महत्वपूर्ण बदलाव के लिए एक अलग सबएजेंट (subagent) का उपयोग करें।
• इस सबएजेंट को बिना किसी पूर्व स्मृति (memory) के बदलाव की समीक्षा करने दें, ताकि वह उन समस्याओं को पकड़ सके जिन्हें मूल रन ने अनदेखा किया हो।
• निष्कर्ष: जाँच को उतना ही गंभीर बनाएँ जितना कि रन अनपर्यवेक्षित था। टेस्ट को गेट (gate) बनाएँ और हेडलेस रन (headless runs) को उनके JSON परिणाम से सत्यापित करें।

Takeaways

• सत्यापन की गहराई अनपर्यवेक्षण के स्तर के अनुपात में होनी चाहिए (Proportional Verification)।
• क्लाउड के सारांश पर भरोसा करने के बजाय, सीधे अंतर (diff) की जाँच और कोड समीक्षा (Code Review) करें।
• टेस्ट और हुक (जैसे Stop Hook और Post Tool Use Hook) ही वास्तविक गेट हैं; उन्हें क्लाउड को स्किप नहीं करना चाहिए।
• महत्वपूर्ण बदलावों के लिए बिना किसी पूर्व स्मृति (memory) वाले एक अलग सबएजेंट (Cold Second Opinion) का उपयोग करें।