Trust it verifying unsupervised runs

Studie-opmerkingen: Verificatie van Onbeheerde Cloud-Code

• Noodzaak van Verificatie: Bij het delegeren van taken aan cloud-code (hands-off runs) is een verificatiemechanisme essentieel om de veiligheid en betrouwbaarheid te garanderen.
• Proportionaliteit: De mate van verificatie moet proportioneel zijn aan het niveau van onbeheerd werk dat aan de code is gegeven.
• Focus op de Diff: Vertrouw niet op nette, overtuigende samenvattingen van de code; analyseer altijd de ruwe wijzigingen (de diff) om te zien wat er daadwerkelijk is aangeraakt.
• Geautomatiseerde Gates (Hooks): Voor onbeheerde runs moet verificatie geautomatiseerd zijn via hooks, zodat deze niet overgeslagen kunnen worden.
• Stop Hooks: Gebruik deze om de run te stoppen bij testfalen.
• Post Tool Use Hooks: Gebruik deze om linter- en type-checks uit te voeren na elke bewerking.
• Subagent Review (Cold Review): Voer een subagent-code review uit die de wijzigingen 'koud' bekijkt (zonder geheugen van hoe de code is gebouwd). Dit zorgt voor een onafhankelijke beoordeling.
• Verificatie van Headless Runs: Verifieer onbeheerde runs door de JSON-resultaten direct te controleren, in plaats van enkel te vertrouwen op een claim dat tests zijn uitgevoerd.
• Kernprincipe: De verificatie moet net zo serieus zijn als de mate van onbeheerd werk.

Takeaways

• Verificatie is essentieel voor cloud-code (hands-off runs) en moet proportioneel zijn aan het niveau van onbeheerd werk.
• Analyseer altijd de ruwe wijzigingen (de diff) in plaats van te vertrouwen op samenvattingen.
• Gebruik geautomatiseerde hooks (zoals Stop Hooks en Post Tool Use Hooks) om verificatie te garanderen.
• Voer een onafhankelijke subagent-code review (cold review) uit om de wijzigingen objectief te beoordelen.
• Verifieer onbeheerde runs door direct de JSON-resultaten te controleren, niet enkel de claim dat tests zijn uitgevoerd.