Fine-Tuning Small Language Models: dalle basi al Reasoning in pratica

Description

SPEAKER Stefano Fiorucci è un AI e Software Engineer appassionato di open source e condivisione della conoscenza. Lavora in deepset, contribuendo a Haystack, framework open source che semplifica lo sviluppo di applicazioni basate su LLM come agenti e pipeline RAG. Nel tempo libero sperimenta con gli Small Language Models, dal fine-tuning per la lingua italiana all'interpretabilità, fino all'esplorazione di tecniche di Reinforcement Learning per migliorare le capacità di ragionamento dei modelli. ABSTRACT Nel 2025, mentre i Language Models più grandi continuano a dominare i benchmark, gli Small Language Models open stanno diventando sempre piùcapaci e accessibili. In questo talk esploreremo, in modo pratico, come vengono addestrati questi modelli e come personalizzarli tramite tecniche di Fine-Tuning, seguendo casi reali tratti dalla mia esperienza: - Gemma per l'italiano: come ho addestrato Gemma per una competizione Kaggle (in cui sono stato tra i vincitori!). Esploreremo Instruction Fine-Tuning, Direct Preference Optimization e strategie di training efficienti, adatte a risorse computazionali limitate. - Qwen Scheduler GRPO: come ho trasformato un Language Model instruct in un modello di reasoning, insegnandogli a generare schedule coerenti, partendo da una serie di eventi e priorità. Vedremo come funzionano GRPO e Reinforcement Learning with Verifiable Rewards.