A modular large language model agent architecture for adaptive and autonomous process-aware execution - Skolik, Alexander Marcus; Kaltenpoth, Sascha Benjamin; Beverungen, Daniel; Müller, Oliver (Information Systems)

Straight Outta Logs: Can Large Language Models Overcome Preprocessing in Next Event Prediction? - Brennig, Katharina; Kaltenpoth, Sascha Benjamin; Müller, Oliver (Lecture Notes in Business Information Processing)

Benchmarking Time Series Foundation Models for Short-Term Household Electricity Load Forecasting - Meyer, Marcel; Zapata Gonzalez, David Ricardo; Kaltenpoth, Sascha Benjamin; Müller, Oliver (IEEE Access)

A Step Towards Cognitive Automation: Integrating LLM Agents with Process Rules - Kaltenpoth, Sascha Benjamin; Skolik, Alexander Marcus; Müller, Oliver; Beverungen, Daniel (Lecture Notes in Computer Science)

Don't Touch the Power Line - A Proof-of-Concept for Aligned LLM-Based Assistance Systems to Support the Maintenance in the Electricity Distribution System - Kaltenpoth, Sascha Benjamin; Müller, Oliver (ACM SIGEnergy Energy Informatics Review)
As a possible solution to the demographic change and the resulting knowledge loss due to retirements in the Energy sector, this study aimed to develop a generic pipeline to implement and evaluate proof-of-concepts (PoCs) for LLM-based assistance systems in new domains. Our pipeline contains an LLM-based data generation strategy based on documents, a retrieval-augmented generation (RAG) architecture utilizing prompting techniques on existing German LLMs, and an LLM-based automatic evaluation strategy. We leverage our pipeline to evaluate five LLMs using data from a German DSO. We found that the Llama3 and the Mistral model are appropriately aligned for the task. We plan to pilot the RAG architecture in the DSO's infrastructure for future research and continuously research improvements using the generated human demonstrations.

Knowledge Management for Service and Maintenance on the Distribution Grid—Conceptualizing an Assistance System based on a Large Language Model Wissensmanagement für Wartung und Instandhaltung im Verteilnetz – Konzeption eines Assistenzsystems basierend auf einem Large Language Model - zur Heiden, Philipp; Kaltenpoth, Sascha Benjamin (HMD Praxis der Wirtschaftsinformatik)
Zusammenfassung Verteilnetzbetreiber in Deutschland stehen vor großen Herausforderungen bei dem Management ihres unternehmensspezifischen Wissens: Mitarbeiterengpässe durch den demographischen Wandel, Wissen ist nur implizit vorhanden und nicht in Wissensmanagementsystemen digitalisiert, teilweise gibt es gar keine Wissensmanagementsysteme oder Konzepte und das Verteilnetz wird immer komplexer. Verbunden mit zunehmender Belastung von zentralen Komponenten im Verteilnetz durch die Energiewende bedarf es neuer Lösungen, besonders für die wissensintensiven Wartungs- und Instandhaltungsprozesse. Generative Artificial Intelligence als aufstrebende Technologie, insb. durch Large Language Models, zeigt hier erste Erfolge für die Anleitung, Entscheidungsunterstützung und den Wissenstransfer. Aufbauend auf dem Design Science Research Forschungsparadigma wird in diesem Beitrag ein ganzheitlicher Ansatz des Wissensmanagements konzipiert, welcher als zentrale Komponente auf einem Assistenzsystem basiert. Ein Large Language Model generiert Hilfestellungen für Netzmonteure während der Wartung und Instandhaltung auf Basis von Anleitungen. Neben der Konzeption zeigt dieser Beitrag auch die erarbeitete Strategie zur Demonstration und zukünftigen Evaluation der Ergebnisse. Der Beitrag liefert ein für Verteilnetzbetreiber neuartiges Konzept Large Language Model basierter Assistenzsysteme zum Wissensmanagement und zeigt zudem nachgelagerte Schritte auf, die vor einer Markteinführung notwendig sind.

Towards Cognitive Assistance and Prognosis Systems in Power Distribution Grids – Open Issues, Suitable Technologies, and Implementation Concepts - Gitzel, Ralf; Hoffmann, Martin; zur Heiden, Philipp; Skolik, Alexander Marcus; Kaltenpoth, Sascha Benjamin; Müller, Oliver; Kanak, Cansu; Kandiah, Kajan; Stroh, Max-Ferdinand; Boos, Wolfgang; Zajadatz, Maurizio; Suriyah, Michael; et al. (IEEE Access)

Getting in Contract with Large Language Models - An Agency Theory Perspective On Large Language Model Alignment - Kaltenpoth, Sascha Benjamin; Müller, Oliver (Wirtschaftsinformatik 2024 Proceedings)
Adopting Large language models (LLMs) in organizations potentially revolutionizes our lives and work. However, they can generate off-topic, discriminating, or harmful content. This AI alignment problem often stems from misspecifications during the LLM adoption, unnoticed by the principal due to the LLM’s black-box nature. While various research disciplines investigated AI alignment, they neither address the information asymmetries between organizational adopters and black-box LLM agents nor consider organizational AI adoption processes. Therefore, we propose LLM ATLAS (LLM Agency Theory-Led Alignment Strategy) a conceptual framework grounded in agency (contract) theory, to mitigate alignment problems during organizational LLM adoption. We conduct a conceptual literature analysis using the organizational LLM adoption phases and the agency theory as concepts. Our approach results in (1) providing an extended literature analysis process specific to AI alignment methods during organizational LLM adoption and (2) providing a first LLM alignment problem-solutionspace.