How Computer Use works

Studie-opmerkingen: Tool Gebruik en Computer Gebruik

**I. Het Algemene Tool Gebruik Proces**

• Verzoek: Een aanvraag wordt gestuurd naar Clod, bestaande uit een gebruikersbericht en een Tool Schema.
• Clod's Beslissing: Clod analyseert het bericht en besluit of het een tool moet gebruiken.
• Tool Use: Clod reageert met een Tool Use ID, een naam en de benodigde input (bijv. een locatie).
• Uitvoering: De server voert de code uit op basis van de input.
• Resultaat: De server stuurt het resultaat terug naar Clod via een Tool Result Part.

**II. Computer Gebruik als Tool Systeem**

• Implementatie: Computer Gebruik is geïmplementeerd met exact hetzelfde tool-systeem.
• Speciaal Schema: Er wordt een klein, specifiek tool-schema gestuurd naar Clod.
• Expansie: Dit kleine schema wordt achter de schermen uitgebreid naar een grote structuur die acties beschrijft (bijv. muisbeweging, linksklik, screenshot).
• Ontwikkelaarsrol: De ontwikkelaar is verantwoordelijk voor het vervullen van Clod's tool-verzoek.
• Simulatie: Om een computeromgeving te simuleren, wordt een Docker-container gebruikt die programma toetsaanslagen en muisbewegingen uitvoert.
• Kernprincipe: Clod manipuleert de computer niet direct; dit wordt geregeld door het tool-systeem en de door de ontwikkelaar geleverde omgeving.

**III. Start met Computer Gebruik**

• Referentie-implementatie: Anthropic biedt een referentie-implementatie (Docker-container) aan.
• Vereisten: Om deze implementatie op te zetten, heb je een Docker-installatie en een lokaal AWS-profiel nodig.
• Functie: De container ontvangt tool-verzoeken van Clod en voert de acties (muisbewegingen, toetsaanslagen) binnen de container uit.

Takeaways

• Het algemene toolgebruik verloopt via een cyclus: Verzoek (gebruikersbericht + schema) → Clod analyse → Tool Use ID/Input → Server uitvoering → Resultaat.
• Computer Gebruik is geïmplementeerd als een gespecialiseerd tool-systeem dat een klein schema intern uitbreidt naar complexe acties (bijv. muisbeweging, screenshot).
• Clod manipuleert de computer niet direct; de uitvoering wordt geregeld door het tool-systeem en de door de ontwikkelaar geleverde omgeving.
• De simulatie van de computeromgeving wordt uitgevoerd door een Docker-container die de acties (toetsaanslagen, muisbewegingen) uitvoert op basis van Clod's verzoeken.