2024

ITRF: Instruction-Tuned Reranker Fine-Tuning

LLM · Llama · NLP · RAG · Python

In meiner Masterarbeit habe ich untersucht, wie man Reranker effektiv trainiert, damit Retrieval-Augmented-Generation-Anwendungen (RAG) bessere Ergebnisse liefern.

Große Sprachmodelle (LLMs) gehören zu den tiefgreifendsten Umbrüchen im Natural Language Processing (NLP). So vielseitig sie sind, haben sie Schwächen: Erzeugte Inhalte sind oft halluziniert, Quellen fehlen, und ihr Wissen zu aktualisieren ist teuer. Retrieval Augmented Generation (RAG) soll diese Probleme lindern, indem das LLM relevante Informationen bekommt.

In dieser Arbeit bauen wir einen Retrieval-Korpus und eine RAG-Pipeline auf, passen ein Sprachmodell parametereffizient an aufgabenspezifische Daten an, damit es Wissen aus bereitgestellten Kontexten extrahiert, und trainieren anschließend einen Reranker, der vorhersagt, mit welcher Wahrscheinlichkeit ein Dokument dem LLM zur richtigen Antwort verhilft, auf 25 Datensätzen. Wir vergleichen fünf Pipelines anhand von Faithfulness, Answer Relevancy, semantischer Antwortähnlichkeit, Context Recall und Context Relevancy. Ein vortrainierter Reranker ohne Anpassung funktioniert mit unserem feinabgestimmten Modell über viele Metriken am besten, während ein Drittanbieter-LLM mit unserem Reranker der Musterlösung am nächsten kommt. Code und Modelle sind Open Source verfügbar.