Zmień Asystenta w SPECJALISTĘ (Moc Modelfile) | Homelab #7

Description

Chcesz, żeby Twoja Ollama nie była „ogólnym czatem”, tylko konkretnym specjalistą do jednego zadania? W tym odcinku pokazuję, jak z Open WebUI i Modelfile zbudować trwałego asystenta — od promptów po Docker. 🧩 Po drodze rozbrajam pułapki kontekstu (lost-in-the-middle, overflow) i pokazuję bezstratne triki optymalizacji tokenów. instrukcja github: https://github.com/Kamil-Krawiec/yt/blob/master/GPT/ollama_assistant.md W tym odcinku zobaczysz: • 3 sposoby ustawiania system promptu w Open WebUI (Controls, Account, Model) • Modelfile: from, blok system"""…""" i parametry (temperature, top_p, repeat_penalty) • Dockerowy „trójskok”: docker cp → ollama rm || true → ollama create -f • Diagnozę błędów: prelegent, streszczenia zamiast rozdziałów, ucięty początek • Optymalizację tokenów + dzielenie zadań i plan pod automatyzację (watcher + API) Spis treści: 00:00 - Wprowadzenie: Po co specjalizować asystenta AI? 00:32 - Problem: Mój asystent do timestampów był "głupi" 01:02 - Pułapka lokalnych LLM: Problem z małym kontekstem 01:27 - Tokeny to waluta, którą musisz oszczędzać 02:04 - 3 główne sposoby na ustawienie modelu w Open WebUI 02:16 - Sposób 1: Szybki System Prompt (w Controls) 02:37 - Sposób 2: Domyślny Prompt (Ustawienia Konta) 03:10 - Sposób 3: Prompt per Model (Panel Admina) 03:52 - Metoda PRO: Dedykowany asystent przez Modelfile 04:13 - Jak napisać Modelfile (FROM, SYSTEM) 04:36 - Strojenie modelu: Kluczowe parametry (Temperature, Top P, Repeat Penalty) 05:17 - Budowanie asystenta: 3 proste komendy Docker 06:22 - Analiza porażki #1: "Lost in the Middle" 07:08 - Analiza porażki #2: "Context Window Overflow" 08:13 - Jak sobie z tym poradzić? (Optymalizacja) 08:38 - Co dalej? Prawdziwa automatyzacja przez API 09:34 - Zakończenie • Open WebUI: hierarchia system promptu i parametrów (Controls → Account → Model) — z diagramem i przykładami – https://docs.openwebui.com/features/chat-features/chat-params#system-prompt-and-advanced-parameters-hierarchy-chart • AWS Security: „context window overflow” — dlaczego modele zachowują początek/koniec, a „gubi się” środek, oraz jak temu przeciwdziałać – https://aws.amazon.com/blogs/security/context-window-overflow-breaking-the-barrier/ • OpenAI Tokenizer: policz tokeny dla promptu/transkryptu przed wysłaniem – https://platform.openai.com/tokenizer • Przewodnik (Pieces): jak maksymalnie wykorzystać długość kontekstu — czyszczenie, chunking, podział zadań, reuse pamięci – https://pieces.app/blog/ai-context-making-the-most-out-of-your-llm-context-length Uwaga / kontekst: To materiał edukacyjny. Testuj u siebie na odizolowanych danych, ogranicz uprawnienia kontenerów i nie wystawiaj kluczy/API na świat. Zmieniaj albo temperature, albo top_p — nie oba naraz. #KodZero #OpenWebUI #Ollama #LocalAI #PromptEngineering #Docker #Homelab #Automation