Literatur vom gleichen Autor/der gleichen Autor*in
plus bei Google Scholar

Bibliografische Daten exportieren
 

PromptPilot : Improving Human-AI Collaboration Through LLM-Enhanced Prompt Engineering

Titelangaben

Gutheil, Niklas ; Mayer, Valentin ; Müller, Leopold ; Römmelt, Jörg ; Kühl, Niklas:
PromptPilot : Improving Human-AI Collaboration Through LLM-Enhanced Prompt Engineering.
In: Proceedings of the 46th International Conference on Information Systems (ICIS). - Nashville, USA , 2025

Volltext

Link zum Volltext (externe URL): Volltext

Abstract

Effective prompt engineering is critical to realizing the promised productivity gains of large language models (LLMs) in knowledge-intensive tasks. Yet, many users struggle to craft prompts that yield high-quality outputs, limiting the practical benefits of LLMs. Existing approaches, such as prompt handbooks or automated optimization pipelines, either require substantial effort, expert knowledge, or lack interactive guidance. To address this gap, we design and evaluate PromptPilot, an interactive prompting assistant grounded in four empirically derived design objectives for LLM-enhanced prompt engineering. We conducted a randomized controlled experiment with 80 participants completing three realistic, work-related writing tasks. Participants supported by PromptPilot achieved significantly higher performance (median: 78.3 vs. 61.7; p = .045, d = 0.56), and reported enhanced efficiency, ease-of-use, and autonomy during interaction. These findings empirically validate the effectiveness of our proposed design objectives, establishing LLM-enhanced prompt engineering as a viable technique for improving human-AI collaboration.

Weitere Angaben

Publikationsform: Aufsatz in einem Buch
Begutachteter Beitrag: Ja
Keywords: PromptPilot; LLM-Enhanced Prompt Engineering; Large Language Model; Human-AI Collaboration; Design Science Research
Institutionen der Universität: Fakultäten > Rechts- und Wirtschaftswissenschaftliche Fakultät > Fachgruppe Betriebswirtschaftslehre
Fakultäten > Rechts- und Wirtschaftswissenschaftliche Fakultät > Fachgruppe Betriebswirtschaftslehre > Lehrstuhl Wirtschaftsinformatik und humanzentrische Künstliche Intelligenz
Fakultäten > Rechts- und Wirtschaftswissenschaftliche Fakultät > Fachgruppe Betriebswirtschaftslehre > Lehrstuhl Wirtschaftsinformatik und humanzentrische Künstliche Intelligenz > Lehrstuhl Wirtschaftsinformatik und humanzentrische Künstliche Intelligenz - Univ.-Prof. Dr.-Ing. Niklas Kühl
Profilfelder
Profilfelder > Emerging Fields > Innovation und Verbraucherschutz
Forschungseinrichtungen
Forschungseinrichtungen > Institute in Verbindung mit der Universität
Forschungseinrichtungen > Institute in Verbindung mit der Universität > Institutsteil Wirtschaftsinformatik des Fraunhofer FIT
Forschungseinrichtungen > Institute in Verbindung mit der Universität > FIM Forschungsinstitut für Informationsmanagement
Titel an der UBT entstanden: Ja
Themengebiete aus DDC: 000 Informatik,Informationswissenschaft, allgemeine Werke > 004 Informatik
300 Sozialwissenschaften > 330 Wirtschaft
Eingestellt am: 08 Okt 2025 08:39
Letzte Änderung: 08 Okt 2025 08:39
URI: https://eref.uni-bayreuth.de/id/eprint/94831