@jjunker schrieb: Um so schlimmer finde ich es wenn in einem freiheitlich demokratischen Staat solcher Software beigebracht wird political correctness über die Fakten zu stellen. Als Techniker sollten Sie wissen, dass das Wort "Fakten" sich im Kontext von LLM's ohnehin verbietet. Ein LLM kann niemals faktisch antworten, es kann ausschließlich statistisch wahrscheinlich antworten. Die Trainingsdaten haben inherente biases, die dem Ziel "Fakten" zu liefern erstmal grundtechnisch widersprechen (statistischer output). Ohne alignment gibt es im output keine Wertung von populär vs. belegbar. Je häufiger ein Datum in den Daten vorkommt, desto wahrscheinlicher liefert die LLM dieses Datum als output. Somit steht statt political correctness dann halt Datenmenge über den Fakten. Was herauskommt wenn man das alignment weglässt hat das deutsche Aleph Alpha 2023 gezeigt: https://interaktiv.tagesspiegel.de/lab/aleph-alpha-ki-aus-deutschland-biases-vorurteile/ Was herauskommt wenn man das alignment in die falsche Richtung dreht hat xAI dieses jahr gezeigt: https://www.handelsblatt.com/technik/ki/xai-musk-ki-grok-lobt-hitler-und-der-code-legt-offen-warum/100140425.html Hitler ist natürlich immer ein super Aufhänger für ne Schlagzeile. Diskriminierende, veraltete und quantitativ verzerrte Daten sind aber auch in weitaus weniger offensichtlichem Stil, in den LLM's großflächig vorhanden. Ohne qualitative Bewertung von z.B. Twitter-Schwurbel gegenüber wissenschaftlichen Studien, wären LLM's in "kontroversen" Bereichen vollständig unbenutzbar. Alignment ist in anderer Form z.B. auch notwendig um die Aktualität von Daten im output zu berücksichtigen. Wenn ein Gesetz geändert wird, werden Informationen zur alten Version des Paragraphen in den Trainingsdaten massiv überwiegen. Also brauche ich alignment um die aktuellen Informationen zu priorisieren. Halluzinationen als weitere Box der Pandora lasse ich in diesem Kontext mal verschlossen.
... Mehr anzeigen
