Building a Large Language Model (LLM) Hands-On

Das Seminar über Large Language Models (LLMs) vermittelt praxisorientiertes Wissen und ermöglicht es den Teilnehmern, ein tiefes Verständnis für die Funktionsweise und Anwendung von LLMs zu entwickeln. Im Detail geht es um die Grundlagen von LLMs, die Architektur und Funktionsweise von GPT-Modellen sowie die Anwendung von LLMs in realen Projekten. Die Teilnehmer werden mit dem Training und der Feinabstimmung von Modellen arbeiten und ihre eigenen Projekte umsetzen.

Hier gehts zum Seminar: https://professional-school.uni-muenster.de/seminare_fortbildung/building-a-large-language-model-hands-on/#daten-und-fakten

Inhalte des Seminars:

1. Einführung in LLMs:

   • Grundlegendes Verständnis der Technologie und ihrer Anwendungsgebiete.

2. Arbeiten mit Text:

   • Vokabular-Aufbau und Tokenisierung: Wie Text in verständliche Einheiten zerlegt wird.
   • Einbettung und Positionierung: Verstehen, wie Worte und Sätze im Modell kodiert und verarbeitet werden.

3. Attention-Mechanisms:

   • Von einfacher Attention zu Self-Attention: Eine tiefgehende Erklärung der Mechanismen, die es LLMs ermöglichen, Kontext über große Textmengen zu verstehen.

4. Implementierung eines GPT-Modells:

   • Schichten in einer LLM-Architektur: Verständnis der Struktur von GPT-Modellen und der Funktionsweise der Texterzeugung.

5. Pretraining und Modellevaluierung:

   • Verwendung von unlabeled Data zum Vortraining von Modellen und die Bedeutung der Evaluierung.
   • Laden vortrainierter Gewichte zur Optimierung der Performance.

6. Spam Classification und Finetuning:

   • Vorbereitungen zur Anpassung eines Modells für spezifische Aufgaben, wie etwa die Spamklassifikation.