Klingt interessant? Das ist die konkrete Forschungsfrage:
Benchmarking von LLM-Features rund um OR-Software zur Ableitung eines OPTANO-Entscheidungskatalogs für unterschiedliche Use Cases
- OPTANO löst bereits das eigentliche Operations-Research-Szenario. Die Forschungsfrage ist daher nicht, ob LLMs das Optimierungsproblem ersetzen, sondern bei welchen begleitenden Use Cases sie einen verlässlichen Mehrwert liefern.
- Zu untersuchen ist, wie gut verschiedene LLM-Features in typischen Use Cases wie Data Science, What-if-Analysen, Explainability, Ergebnisinterpretation oder Nutzerinteraktion performen.
- Offen ist außerdem, welche technischen „Rezepte“ je nach Kundenanforderung sinnvoll sind, z. B. einfaches Prompting versus Retrieval, Single-Agent versus Multi-Agent, und wie sich diese Varianten auf Kosten, Laufzeit und Qualität auswirken.
Diese Methodik stellen wir uns vor:
- Aufbau eines Benchmark-Frameworks für mehrere klar abgegrenzte Use Cases rund um ein bestehendes OPTANO-Szenario, z. B. Datenanalyse, Szenariovergleich, Erklärung von Lösungen oder Beantwortung fachlicher Rückfragen.
- Systematischer Vergleich verschiedener LLM-Setups anhand definierter Metriken wie Antwortqualität, Faktentreue, Bearbeitungszeit, Kosten, Robustheit und erforderlichem Engineering-Aufwand.
- Ableitung eines praxisnahen Entscheidungskatalogs mit wiederverwendbaren Basis-Rezepten, aus denen je nach Use Case und Kundenanforderung geeignete LLM-Architekturen ausgewählt werden können.
Diese Kenntnisse benötigts du:
- Gute Kenntnisse in mathematischer Optimierung oder Operations Research
- Programmiererfahrung in Python sowie Interesse an experimenteller Evaluation und Benchmark-Design
- Grundkenntnisse zu LLMs, Prompting, Retrieval und agentischen Architekturen