Überblick#
Entwickelte einen terminalbasierten Konversationsagenten, der lokal auf Ollama läuft und Llama 3 für Tool-Nutzung und strukturiertes JSON-Parsing verwendet.
Entwarf eine robuste Steuerungsschleife, die einen System-Prompt, dynamische Tool-Schemas und ein History-Array orchestriert, das bei jeder Iteration an das Modell übergeben wird.
Implementierte einen Runtime-Dispatcher in Python, der basierend auf den Tool-Aufrufen des Modells Funktionen wie Wetterabfragen oder SQLite-Datenbankoperationen ausführt.
Entwickelte strikte Pydantic-Modelle, die Tool-Aufrufe auf Python-Funktionen abbilden, um eine robuste JSON-Validierung und Fehlerbehandlung zu gewährleisten.
Verwaltete den Konversationsstatus mithilfe eines lokalen SQLite-Speichers, der Interaktionsverläufe sichert und die Latenz für schnelle Tests minimiert.
Tech Stack#
Python
Steuerungsschleife & Dispatcher
Ollama
Lokale Inferenz-Engine
Llama 3
Modell für Tool Use
SQLite
Status- & Verlaufsspeicher
Pydantic
Daten- & Schema-Validierung