Hintergrund: Lightrag mit lokalem Ollama für RAG LLM lokal. Lightrag nutzt das Ollama-Modell aus irgendeinem Grund mit einer Default context length, die viel zu kurz ist und produziert kompletten Unsinn, da der RAG-Context nicht hineinpasst. Daher: In Ollama context length setzen und ein neues Modell speichern, dieses dann in Lightrag als Modell nutzen:
- ollama run llama3.3:70b
- /set parameter num_ctx 131072
- /save llama3.3-70b-128k
Anschließend kann das Modell, z.B. llama3.3-70b-128k in einem Call aus Lightrag genutzt werden und so ist sichergestellt, dass die Kontextlänge wie gewünscht ist und nicht auf default läuft.