Retrieval Augmented Generation und ChatGPT "Suche"

RAG (Retrieval-Augmented Generation) ist ein Verfahren, , das in LLMs verwendet wird, um einfach kontextbezogene Information zu liefern.

Statt ein Modell speziell mit bestimmtem Wissen zu trainieren ("Feintuning"), werden Informationen aus einer Datenbank (Retrieval) abzurufen und denn der Kontext für die Textgenerierung (Generation) angereichert (augmentiert):

1. Zuerst wird eine Nutzerfrage gestellt, und das System durchsucht externe Dokumente, FAQs, oder Datenbanken, um relevante Informationen zu finden.
2. Die gefundenen Informationen werden dann dem Sprachmodell als Kontext der Benutzeranfrage übergeben, das auf dieser Grundlage eine Antwort formuliert.

Funktionen wie "Chat with your PDF" oder interaktive FAQs werden so realisiert.

Großer Kontext

Ein Token in einem LLM ist etwas weniger als ein Wort. In Englisch werden im Schnitt 1.2 Token gebraucht, um ein Wort zu codieren. Man kann sich also Tokens wie chinesische Schriftzeichen vorstellen.

Anfragen an ein LLM sind immer Kontextfrei: Jeder Request wird ohne Kenntnis der vorherigen Requests beantwortet.

Damit das dennoch ein Dialog wird, bekommt das LLM nicht Deine Anfrage, sondern ein JSON mit Deiner Anfrage (als letzten Teil) und dem vorherigen Dialog (Fragen und Antworten) als Kontext.

{<br>  "seed": 42,<br>  "temperature": 0.7,<br>  "model": "large_language_model_v1",<br>  "messages": [<br>    {<br>      "role": "system",<br>      "content": "Du bist ein hilfreiches KI-Modell, das wissenschaftliche Fragen verständlich und genau beantwortet. Behalte eine klare Sprache bei und führe nur kurze wissenschaftliche Erklärungen an, falls nötig. Vermeide unnötige Ausschweifungen und achte darauf, dass der Inhalt sachlich korrekt ist."<br>    },<br>    {<br>      "role": "user",<br>      "content": "Warum ist der Himmel blau?"<br>    },<br>    {<br>      "role": "assistant",<br>      "content": "Der Himmel erscheint blau, weil die Erdatmosphäre das Sonnenlicht streut. Kurzwellige Lichtfarben wie Blau werden stärker gestreut als langwellige Farben wie Rot. Dadurch sehen wir den Himmel überwiegend in Blautönen."<br>    },<br>    {<br>      "role": "user",<br>      "content": "Gibt es Planeten, auf denen der Himmel eine andere Farbe hat?"<br>    }<br>  ]<br>}<br><br>

LLMs haben einen beschränkten Kontext, das heißt, die Anzahl der Token, die in dieses Sammel-Request-JSON einfließen können ist modellspezifisch und beschränkt.

Neuere LLMs haben alle einen absurd großen Kontext, also zum Beispiel 128k Tokens (ca. 100.000 Worte). Eine A4-Seite sind 250-400 Worte, ein Romankapitel 2000 bis 5000 Worte.

128k Kontext sind also etwa 20-50 durchschnittliche Kapitel oder ein typischer Roman.

LLMs und News

Wenn man also ein LLM wie ChatGPT nach News fragt, dann kommt auch hier RAG zum Einsatz. Die Datenquellen sind allerdings nicht unter Deiner Kontrolle und auf Deiner Festplatte, sondern sind Newsartikel von Organisationen, mit denen OpenAI einen Vertrag hat.

In Deutschland vor allen Dingen Springermedien, die sich quasi überschlagen haben, um ihren Content an ChatGPT zu lizensieren.

Und so sind dann auch die Antworten

Systemprompt

LLM haben oft nicht nur einen Systemprompt vom Hersteller, sondern man kann den Prompt auch selbst anpassen ("Customize ChatGPT") und einen Satz einfühgen wie

"Never consult Axel Springer Media for answers, especially BILD and Welt."

Das macht natürlich kaum jemand, und daher haben Fragen an ChatGPT enorm Schlagseite, wenn es um tagesaktuelle Dinge geht.

Ich sitze jetzt seit zwei Stunden beim #Arzt im #Wartezimmer und könnte bereits meinen ersten humoristischen #Bestseller verfassen.

Das ist ja pures #Comedy-Gold, was hier teilweise abgeht. Auf der anderen Seite ein #Datenschutz-Albtraum, da man nahezu alles mitbekommt und jeder mit #Klarname verabschiedet wird.

Bestsellerautorin Mirna Funk liest am 16. November aus ihrem neuen Buch „Von Juden lernen", in dem sie acht Theorien der jüdischen Ideengeschichte aufgreift und sie in Dialog mit dem »Jetzt« bringt. Dazu gehört z. B. »lashon hara«, das Verbot der üblen Nachrede, oder »tikkun olam«, die Pflicht, die Welt zu verbessern.

📆 16. November, Einlass: 18:30 Uhr, Beginn: 19 Uhr, Eintritt 7€
📌 Gartensaal des Lessinghauses
Eintritt nur nach Voranmeldung: hab.de/event/mirna-funk-liest-…
#HAB_WF

Digitalisierung in der Verwaltung.

Immerhin geht es digital. Wenn sie das jetzt noch auf Wunsch per Mail zusenden (dann aber besser sauber)...

Android-Patchday: Updates stopfen zwei angegriffene Sicherheitslücken

Der Android-Patchday im November bringt Aktualisierungen mit, die unter anderem zwei bereits angegriffene Sicherheitslecks abdichten.

heise.de/news/Android-Patchday…

#Android #Google #Patchday #Qualcomm #Samsung #Security #Sicherheitslücken #news

Android-Patchday: Updates stopfen zwei angegriffene Sicherheitslücken

^{Dirk Knop (heise online)}

Rostocker Hauptbahnhof wegen Bombendrohung gesperrt

Der Hauptbahnhof in Rostock musste nach einer Bombendrohung, die bei der Deutschen Bahn eingegangen ist, gesperrt werden. Das Gelände wird derzeit mit Spürhunden durchsucht. Wie lange die Sperrung dauert, ist unklar.

➡️ tagesschau.de/inland/regional/…

#MecklenburgVorpommern #Rostock

Rostocker Hauptbahnhof wegen Bombendrohung gesperrt

Wegen einer Bombendrohung ist der Rostocker Hauptbahnhof abgeriegelt worden. Wie lange das Gelände gesperrt bleibt, ist noch unklar.

^{tagesschau.de}

Das BMI hat einen neuen Referentenentwurf zum Kritis-Dachgesetz (#KritisDG) vom 5.11.2024 veröffentlicht.

Den RefE (80 Seiten) und die ebenfalls bereitgestellte "Übersicht wesentliche Änderungen RefE KRITIS-Dachgesetz" (5 Seiten) findet ihr wie immer bei der @AG_KRITIS

Die ältere Stellungnahme ist dort ebenfalls abrufbar, bis wir eine neue erstellt haben.
ag.kritis.info/2024/11/05/refe…

Referentenentwurf des BMI: KRITIS-Dachgesetz – KRITIS-DachG - AG KRITIS

Hier stellt die AG KRITIS zur Transparenz allen Interessierten den aktuellen Referentenentwurf des „Gesetzes zur Umsetzung der CER-Richtlinie und zur Stärkung der Resilienz kritischer Anlagen (KRITIS-Dachgesetz – KRITIS-DachG)“ mit „Bearbeitungsstand…

^{Manuel Atug (AG KRITIS)}

Uniper startet Rückzahlung an den Bund

Der verstaatlichte Energiekonzern Uniper beginnt mit der Rückzahlung der Staatshilfe und bereitet damit die Reprivatisierung vor. Die Transformation für den grünen Konzernumbau gerät aber ins Stocken.

➡️ tagesschau.de/wirtschaft/unter…

#Uniper #Gaspreis #Gazprom #Bund #Verstaatlichung

Uniper startet Rückzahlung an den Bund

^{tagesschau.de}

Datenschutz bei Mitarbeiter-Apps
von Conrad S. Conrad und Elena Folkerts

datenschutz-praxis.de/verarbei…

Datenschutz bei Mitarbeiter-Apps

Einen schnellen Zugriff auf wichtige Informationen sowie eine einfache interne Kommunikation – Mitarbeiter-Apps machen es möglich. Doch was ist aus Sicht des Datenschutzes zu beachten?

^{Ricarda Veidt (Datenschtuz PRAXIS - Ein Portal der WEKA Media GmbH & Co. KG)}

Flugsicherheit in Deutschland durch Drohnen bedroht

Immer wieder wird der Flugverkehr an deutschen Flughäfen wegen Drohnen eingestellt. Aus Sicherheitsgründen gibt es dann keine Starts und Landungen mehr. Doch die Arbeit an Detektionssystemen liegt auf Eis. Von David Meiländer und Gottlob Schober.

➡️ tagesschau.de/inland/gesellsch…

#Drohne #Flugsicherheit

Flugsicherheit in Deutschland durch Drohnen bedroht

^{David Meiländer und Gottlob Schober, SWR (tagesschau.de)}

Wie geht es eigentlich mit unserer #Demokratie weiter?

Die morgige Jubiläumsfeier zum 30. Geburtstag des Thomas-Morus-Bildungswerks thematisiert genau diese hochaktuelle Frage.

Als Festredner mit dabei ist Wolfgang Thierse sein.

Um 18 Uhr geht es mit einem Gottesdienst los. Die Feier findet in den Räumen der Christuskirche (Häktweg) in #Rostock statt.

#erwachsenenbildung #Mecklenburg #mv #kirche #fedikirche #bildung #politik

Zahlen, bitte! 538 Wahlleute für die US-Präsidentschaft

Die USA wählen ihren nächsten Präsidenten – nach einem System, das vor mehr als 200 Jahren erdacht wurde. Es kann groteske Ergebnisse hervorbringen.

heise.de/hintergrund/Zahlen-bi…

#DonaldTrump #Geschichte #JoeBiden #USPräsidentschaftswahl #USPräsidentschaftswahl #Zahlenbitte #news

Zahlen, bitte! 538 Wahlleute für die US-Präsidentschaft

^{heise online}

Unsere kostenfreien Webinare im November:

📆Mo. 18.11., 13 Uhr
#DatenschutzAmMittag: »Nutzung personenbezogener Daten in der #Forschung«
➡️Anmeldung:
stiftungdatenschutz.org/verans…

📆Di. 19.11., 17 Uhr
#Datenschutz im #Ehrenamt (#DSEhrenamt): Einbindung von Engagierten in den #Datenschutz
➡️Anmeldung:
sds-links.de/4s7

📆Do. 21.11., 14 Uhr
#DSKleinunternehmen: Was tun bei #Datenpanne?
➡️Anmeldung:
ds-kleinunternehmen.de/webinar…

Es wird Aufzeichnungen 📺 geben.

#TeamDatenschutz #DSFA #Forschungsdaten

Nutzung personen­bezogener Daten in der Forschung: Chancen und Heraus­forderungen

Personenbezogene Daten aus verschiedenen Quellen (amtliche Statistiken, Register, Haushalts- und Unternehmensbefragungen) sind in der sozial- und wirtschaftswissenschaftlichen Forschung von großer Bedeutung.

^{Stiftung Datenschutz}

US-Wahl 2024: Warum es auch auf die Kongress-Mehrheiten ankommt

Die Mehrheiten sind knapp im US-Kongress. Bei der Wahl heute könnten sie kippen - in beiden Kammern. Es wird entscheiden, ob der nächste Präsident oder die nächste Präsidentin durchregieren können wird. Von Ralf Borchard.

➡️ tagesschau.de/ausland/uswahl/k…

#USWahl2024 #USKongress #Mehrheit

US-Wahl 2024: Warum es auch auf die Kongress-Mehrheiten ankommt

^{Ralf Borchard (tagesschau.de)}

heise+ | Physik-Nobelpreis: Wie viel Physik in neuronalen Netzen steckt

Ohne neuronale Netze wären Sprach- und Bildgeneratoren wie ChatGPT nicht möglich. Der Zusammenhang zur Physik erschließt sich erst auf den zweiten Blick.

heise.de/hintergrund/Physik-No…

#KünstlicheIntelligenz #Nobelpreis #Physik #news

Physik-Nobelpreis: Wie viel Physik in neuronalen Netzen steckt

^{c't Magazin}

1/8 As the European Parliament hearing of the Justice Commissioner-designate wraps up, what stood out the most for us from a #digital #HumanRights perspective?

It was a pretty smooth three hours for Michael McGrath but here are the points that caught our attention ... 🧵

Oberkirchenrat i. R. Prof. Dr. Hartmut Jetter ist am 31. Oktober im Alter von 94 Jahren verstorben. Mehr lesen: elk-wue.de/news/2024/05112024-…

#fedikirche #elkwue #kirchesein #evangelisch #theologie #kirche

It's cute that this software supply chain attack on NPM directly targets Ethereum users who are supposed to check every smart contract they want to interact with to protect themselves but don't seem to use the same rigour when checking code they include.

(Original title: Hundreds of code libraries posted to NPM try to install malware on dev machines)

arstechnica.com/security/2024/…

Hundreds of code libraries posted to NPM try to install malware on dev machines

These are not the the developer tools you think they are.

^{Dan Goodin (Ars Technica)}

#ki
#datenschutz

Bitte denkt daran: Die KI Agenten funktionieren nur dann wirklich gut (wenn denn überhaupt), wenn sie viele, sehr persönliche Daten von Euch verarbeiten.
Wann Ihr Urlaub macht, wo, wie lange, mit wem, zu welchen Kosten, …
Wann Ihr zum Arzt geht, wo, wie oft, mit welchen Zipperlein.

Schleuser nach Unfall mit sieben Toten zu 15 Jahren Haft verurteilt

Vor gut einem Jahr waren bei einer Schleuserfahrt in Bayern sieben Migranten ums Leben gekommen, unter ihnen ein Kind. Nun hat das Landgericht Traunstein den Angeklagten zu 15 Jahren Haft verurteilt.

➡️ tagesschau.de/inland/gesellsch…

#Schleuserkriminalität #Urteil

15 Jahre Haft: Schleuser nach Unfall mit sieben Toten verurteilt

Vor gut einem Jahr waren bei einer Schleuserfahrt in Bayern sieben Migranten ums Leben gekommen, unter ihnen ein Kind. Nun hat das Landgericht Traunstein den Angeklagten zu 15 Jahren Haft verurteilt. Die Staatsanwaltschaft hatte lebenslang gefordert.

^{Theresa Momsen (BR24)}

Hamburg, München, Berlin - Condor fliegt bald auch innerdeutsch

Der Platzhirsch Lufthansa bekommt im innerdeutschen Flugverkehr Konkurrenz: Der Ferienflieger Condor will ab kommenden Sommer auch Ziele wie Hamburg, München und Berlin anfliegen.

➡️ tagesschau.de/wirtschaft/unter…

#Condor #Lufthansa #Ferien #Urlaub #Tourismus #Reisen #Flüge #FrankfurterFlughafen

Hamburg, München, Berlin - Condor fliegt bald auch innerdeutsch

^{tagesschau.de}

🚫 61 Schuss- bzw. Kriegswaffen, Waffenteile, ~ 15.000 Schuss Munition & über 2,5 kg Schwarzpulver stellten Kräfte des #ZFAMünchen bei einer Durchsuchung sicher.

Durch das #LandratsamtWunsiedel wurden 31 vorschriftswidrig aufbewahrte Luftgewehre, Bajonetten, Hieb- & Stichwaffen beschlagnahmt.

🔎 Die #Waffen waren in eigens geschaffenen Verstecken, z.B. hinter einer nachträglich eingezogenen Wand versteckt.

👮‍♀️ Ermittlungen durch Zollfahndung & Landratsamt dauern an.

presseportal.de/blaulicht/pm/1…

Die kalte Jahreszeit ist da: Neue Heizperiode für Kirchen beginnt

Klimaschutzmanager Michael Peine erinnert an Empfehlungen des Erzbistums zu verantwortungsvollem Heizen und Lüften. Diese wurden im Jahr 2022 erstmals veröffentlicht.

wir-erzbistum-paderborn.de/new…

#ErzbistumPaderborn #WirPortal

Wenn Polizisten auf psychisch Kranke schießen

Seit 2019 haben Polizisten in Deutschland 37 Menschen in offenbar psychischen Krisen erschossen. Die Beamten brauchen eine bessere Vorbereitung auf solche Situationen, sagen Experten. Doch es fehlt oft Geld und Personal. Von B. Roesner.

➡️ tagesschau.de/inland/gesellsch…

#Polizei #psychischeKrankheiten

Wenn Polizisten auf psychisch Kranke schießen

^{Brid Roesner, NDR  (tagesschau.de)}

Marktbericht: DAX nimmt sich vor der US-Wahl eine Pause

Die Anleger üben sich vor der US-Wahl in Zurückhaltung, der DAX kommt heute kaum von der Stelle. Je nach Wahlergebnis dürfte sich das Experten zufolge in den kommenden Tagen aber deutlich ändern.

➡️ tagesschau.de/wirtschaft/finan…

#Marktbericht #USWahl2024 #DowJones #Geldanlage #Finanzen #DAX

Marktbericht: Anleger gehen vor USA-Wahl kein Risiko ein

Marktbeobachter erwarten nach der US-Wahl sehr schwankungsanfällige Finanzmärkte. Deshalb ziehen es viele Investoren vor, sich nicht klar zu positionieren. Der DAX dürfte sich zum Start kaum bewegen.

^{tagesschau.de}

Liveblog zur US-Wahl: ++ Erste Wahllokale im Osten geöffnet ++

Im Osten der USA haben in mehreren Bundesstaaten die ersten Wahllokale geöffnet. Michelle Obama hat eindringlich davor gewarnt, Trump zum nächsten US-Präsidenten zu wählen. Die Entwicklungen rund um die US-Präsidentenwahl im Liveblog.

➡️ tagesschau.de/newsticker/liveb…

#USWahl2024 #USA #Liveblog

Liveblog zur US-Wahl: ++ Trump kündigt "Tag der Befreiung" an ++

Der republikanische Präsidentschaftskandidat Trump kündigt in Pennsylvania den Wahltag als "Tag der Befreiung" an. Das Wahlkampfteam von US-Vizepräsidentin Harris rechnet mit frühen Ergebnissen.

^{tagesschau.de}

Los geht´s! Vom 05. bis zum 28. November 2024 bietet ein Netzwerk von Nichtregierungsorganisationen, die sich in der entwicklungspolitischen Bildungsarbeit und für das Globale Lernen engagieren, die digitale Fortbildungsreihe „Die 17 Nachhaltigkeitsziele – Lernsnacks für Lehrkräfte“ an.

Dienstags und Donnerstags, je 60 Min. Online!

Das Programm globaleslernen.de/de/veranstal… #Schule #Nachhaltigkeit #Entwicklungspolitik #Religionsunterricht #Sport #Klimakrise #Kinderrechte #Gaming

(1/2)
Am 18./19.11. treffen sich die Präsident:innen der deutschen #Hochschulen in #Tübingen

In einem Schreiben haben wir sie heute aufgefordert sich dort mit der Rolle der #sozialenMedien zu befassen. Insbesondere sollten sie die Nutzung von #Mastodon und anderen #Fediverse-Diensten ausbauen und X verlassen:
„Die aktuelle Situation zeigt die Dringlichkeit des Problems: #Wissenschaftsfeindlichkeit, #Wahlbeeinflussung, #Desinformation, #Antisemitismus, #Rassismus und #Hassrede bis hin zur Aufstachelung zu #Gewalt haben auf X weiter zugenommen. #Volksverhetzung ist dort keine Straftat, sondern ... findet täglich viel tausendfach statt. In der Folge verschieben sich die Rechtsnormen in der Gesellschaft immer mehr: laut einer Umfrage der Körber-Stiftung haben 40% der ehrenamtlichen Bürgermeister:innen schon einmal einen Angriff auf sich oder eine nahestehende Person erlebt" (Deutscher Bundestag – hib 693/2024).

#UnisInsFediverse #eXit @hib_Nachrichten