Mit ChatGPT zu arbeiten ist kinderleicht. ChatGPT ging von Anfang mit einer intuitiven Oberfläche an den Start. Noch nie war es so einfach, z.B. eine Textzusammenfassung oder die wichtigsten Keywords zu einem Dokument zu generieren.

GPT-4o hat in der Standardversion ein Kontextfenster von 8192 Token, das sind rund 7000 Wörter oder 15 Seiten Text. Auch das Hochladen von PDF oder Word Dokumenten ist möglich. Die einfachste Methode für z.B. eine Textzusammenfassung ist also, das Dokument hochzuladen und nach einer Zusammenfassung zu fragen.

Die API von ChatGPT ist sehr einfach zu benutzen. Es ist ein Kinderspiel, Anwendungen wie Summarizer, Keyword Extractor, Übersetzer oder Frage-Antwort Agenten zu entwerfen und in eigene Applikationen einzubinden.

Halluzination ist ein großes Problem. Dies liegt zum einen an der Art der Transformer-Architektur^[1] und zum anderen an der nicht zu kontrollierenden riesigen Datenmenge, mit denen das LLM für eine Vielzahl von Aufgaben trainiert wurde. Laut Sam Altman hat das Trainieren von ChatGPT-4 100 Millionen Dollar gekostet^[2] - das zeigt die Dimension dieses Modells. Halluzination war schon bei ChatGPT-3 einer der größten Kritikpunkte^[3]. Version 4 ist zwar hier durch den Versuch, einen eigenen Faktencheck durchzuführen, z.B. in der Wikipedia, viel besser geworden, aber unserer Meinung nach für den akademischen Bereich so ohne weiteres nicht einsetzbar.

[1] 2023, What are AI hallucinations?, IBM
[2] Katharina Buchholz,  August 2024, The Extreme Cost Of Training AI Models. Forbes
[3] Alkaissi, H. & McFarlane, S. I. (2023). Artificial Hallucinations in ChatGPT: Implications in Scientific Writing. Cureus, 15(2), e35179. DOI: 10.7759/cureus.35179

Öffentlich hochgeladene Daten werden für das Training des LLMs benutzt.

Bei der Nutzung der Enterprise Edition macht OpenAI zwar gewisse Zusagen, doch für uns ist Datenverarbeitung in US-amerikanischen Datencentern per se ein No-Go, genauso wie für nahezu alle öffentlichen Behörden und Institutionen, die ja letztendlich als Kunden die KI nutzen sollen. Hosting in den USA war und ist eigentlich immer schon ein Ausschlusskriterium für einen Kontrakt mit einer europäischen Institution, da ist die Nutzung von KI auf Servern in den USA erst recht tabu^[1].

Gem. der Herausgabeverpflichtungen nach FISA, dem CLOUD-Act u.a. US-amerikanischen Regelungen gilt:

US-amerikanische Sicherheitsbehörden können US-amerikanische Unternehmen verpflichten, Daten und Informationen, auf die sie rechtlich und tatsächlich zugreifen können.....herauszugeben^[2].

[1] Neuerer, Dietmar (May 2023): Anwendungen wie Teams sind für Behörden tabu, weil Daten in die USA gelangen könnten. Handelsblatt
[2] Wissenschaftlicher Dienst des Deutschen Bundestags (April 2024): Herausgabepflichten von Daten und Informationen an US-amerikanische Sicherheitsbehörden

Bei Nutzung der Enterprise Edition gilt:

Überprüft OpenAi meine Daten?

Wir können alle Daten, die an die Dienste von OpenAI übermittelt werden, durch automatische Inhaltsklassifizierer und Sicherheitstools laufen lassen, auch um besser zu verstehen, wie unsere Dienste genutzt werden. Die erstellten Klassifizierungen sind Metadaten über die Daten, enthalten aber keine Daten selbst. Die Daten werden nur einer menschlichen Überprüfung unterzogen, wie unten für jeden einzelnen Dienst beschrieben.

Wer ist Eigentümer der Inputs und Outputs?

Für die Beziehung zwischen Ihnen und OpenAI gilt: Sie behalten alle Rechte an den Eingaben, die Sie unseren Diensten zur Verfügung stellen, und Sie sind Eigentümer aller Ausgaben, die Sie rechtmäßig von unseren Diensten erhalten, soweit dies gesetzlich zulässig ist. Wir erhalten nur Rechte an Input und Output, die erforderlich sind, um Ihnen unsere Dienste zur Verfügung zu stellen, geltende Gesetze einzuhalten und unsere Richtlinien durchzusetzen.

vgl. https://openai.com/enterprise-privacy/

Nein, die ChatLibrary nutzt nicht ChatGPT. Wir haben uns für ein führendes LLM mit einem Transformer-Modell der zweiten Generation entschieden, das für belastbare Frage-Antwort Aufgaben wesentlich besser geeignet ist.

Die gesamte Architektur mit allen Komponenten inkl. des LLMs hosten wir in Deutschland. Sie entspricht zu 100% der DSGVO. Das LLM wird mit keinen Daten trainiert. Jede Knowledge Base ist für jeden Verlag individuell.  

Die Architektur von ChatLibrary geht weit über die Nutzung eines LLM hinaus. Das LLM ist nur ein Baustein der ChatLibrary und wird lediglich für das Formulieren und Sprechen benutzt - auch KI Reasoning lassen wir zu. Aber alle Informationen kommen ausschließlich aus der eLibrary, also aus den verlagseigenen eBooks und eJournals, und nicht aus dem LLM. Hiermit erreichen wir nahezu einen Ausschluss von Halluzination. 

Unser Ansatz ist die Nutzung der kompletten eLibrary oder beliebiger Teile davon als ausschliessliche Wissensbasis. Der Nutzer kann also der eLibrary Fragen stellen und erhält Antworten aus allen eLibrary Inhalten, die er beispielsweise lizenziert hat. Mit Angabe von Zitierung und Quellen in jeder Antwort, die direkt angesprungen und verifiziert werden können.

Die ChatLibrary besteht sehr vereinfacht gesagt aus den Bausteinen

• Content (eBooks und eJournals)
• Natürliche Sprachverarbeitung NLP
• Knowledge Base
• LLM.

Eine wesentliche Herausforderung  ist neben dem Design der Architektur und der Auswahl und Evaluierung das Feintuning und Abstimmung aller einzelnen Komponenten und Dienste, um das optimale Ergebnisse hinsichtlich Transparenz, Zuverlässigkeit, Performance, Nutzerfreundlichkeit und Kosten zu erzielen.

SearchEngine und NoSQL Datenbank der eLibrary sind mit der ChatLibrary Knowledge Base intelligent verknüpft, um auf Metadaten und Informationen blitzschnell zugreifen und sie für das Filtern, Bewerten und Anreichern verwenden zu können. 

Wir sind Pionier rund um die Intelligente Suche. Vor ca. 15 Jahren entwickelten wir den Intelligent Classifier, der für das Lernen von Fachdomänen das automatische Training mit menschlicher Expertise kombiniert - ganz so, wie Knowledge Worker heute ein LLM trainieren.

Wir wisssen daher sehr genau, wie aufwendig das sinnvolle Trainieren von Modellen ist und welche Verbesserungen es bringen kann^[1].

Für eine sehr spezielle Fach- und Sprachdomäne wie z.B. das Chat-Book Frag den Grüneberg (Palandt), zumal einziger Inhalt dieser Chat-Book KI, macht Training nicht nur Sinn, sondern ist ein Muss. Für eine eLibrary mit ihren sehr unterschiedlichen Themenspektren wie Medizin, Wirtschaft, Psychologie, Altertum, Chemie, IT etc. steht der Aufwand^[2] hingegen eher nicht im Verhältnis zum Ertrag. Die Kosten für die Bereitstellung eines trainierten LLMs im Datencenter liegen zudem im mittleren 6-stelligen Euro-Bereich p.a.

Heutige LLMs sind äußerst mächtig und bereits mit umfassendem Fachwissen trainiert^[3][4][5]. Die ChatLibrary mit ihrer KnowledgeBase Architektur ist so konzipiert, dass das LLM immer Up-to-Date gehalten und nicht trainiert werden muss und andere Parameter zum Feintuning eingesetzt werden können.

[1] Weitkämper, Felix (2023): One-shot Learning, The Reasoner 17 (1) S. 8. University of Milano Press
[2] David Rosenberg(2023): Podcast über das Training des Bloomberg LLMs. Die Gesamtkosten betrugen ca. 1 Millionen Dollar, die finale Rechenlaufzeit für die Modellerstellung fast 2 Monate und das Team besteht aus 9 Mitarbeitern
[3] Battersby, Matilda (July 2024): Academic authors 'shocked' after Taylor & Francis sells access to their research to AI. The Bookseller
[4] Pacifici, Sabrina I. (August 2024): Wiley set to earn $44m from AI rights deals, ‘no opt-out’ for authors. Berkeley Law Library
[5] Leiter, Brian (May 2024): Cambridge University Press now asking authors whether they want to license their publications for LLMs. Philosophy Blog