How to Build a Chatbot On- & Offline (Fast)
Im Rahmen des Projekts ?KI-Exploration: KI in Lehre und Forschung“ wurde erforscht, in welchem Umfang ein Sprachmodell (Large Language Model, LLM) durch gezielte Methoden mit neuem Wissen angereichert werden kann, um spezifische Fragen pr?ziser und kontextabh?ngig zu beantworten. Dabei stand die Frage im Fokus, welche Ans?tze sich für das Training und die Anpassung eines LLM eignen, um dessen Leistungsf?higkeit und Nützlichkeit sowohl in der Wissensvermittlung als auch in praktischen Anwendungen zu steigern.

Der Projektansatz umfasste mehrere Schritte: vom Fine-Tuning eines bestehenden Modells über die Implementierung einer Funktion zur PDF-Ausgabe für eine strukturierte Wissenseinbettung bis hin zur Anwendung von Retrieval-Augmented Generation (RAG). Durch RAG wird das LLM in die Lage versetzt, zus?tzlich auf externe Wissensquellen zuzugreifen und kontextualisierte Antworten zu liefern, was ein pr?ziseres und umfassenderes Antworten erm?glicht.

Im Projekt wurden sowohl ChatGPT in seiner Online-Variante als auch ein lokal betriebenes Modell (LLaMA3) eingesetzt, um zwei unterschiedliche Chatbot-Ans?tze zu realisieren: einen Online- und einen Offline-Chatbot. Diese Dualit?t erm?glicht es, die Vor- und Nachteile beider Ans?tze zu evaluieren und m?gliche Anwendungsszenarien für beide Varianten darzustellen. Ziel ist es, anhand praxisnaher Beispiele aufzuzeigen, wie und in welchen Kontexten die gezielten Anpassungen eines LLM den gr??ten Mehrwert bieten.

Projektteam: Boleslav Glavatki, Yolanda Sommerfeldt, Sophie Thümmler
Beratung: Christian Kandels

Die vollst?ndigen Ergebnisse werden im Dezember hier vorgestellt.
/hochschule/projekte/sl2/service-fuer-studium-lehre/exploration-ki/

Referenten:
Boleslav Glavatki (Fachbereich Ingenieur- und Naturwissenschaften)
Yolanda Sommerfeldt (Fachbereich Soziale Arbeit.Medien.Kultur)
Termin: 12.12.2024, 12:45 – 13:30 Uhr
Ort: Bibliotheks-Foyer (HG/A/Foyer 1. OG)
Online:Zoom Link. 

Veranstaltung speichern (iCal)