Summary-llm: Mit KI Zusammenfassen, Umschreiben, Taggen, etc.

Dieses Mal stelle ich Euch Summary-llm-qwen-2.5-32b, ein großes KI-Sprachmodell, das Ihr auf Eurer eigenen Hardware ausführen könnt, vor. Dieses Modell kann Texte lesen, zusammenfassen und neue daraus erstellen. Anders als andere lokale LLMs kann Summary auch mit großen Texten, wie z.B. Transkriptionen von Videos umgehen. Im Video zeige ich Euch, wie Ihr das Modell mit KoboldCPP verwenden könnt. Und damit es noch einfacher wird, habe ich ein Skript geschrieben, das per REST-API auf KoboldCPP zugreift und aus Eingabetexten und einem Prompt eine neue Textdatei schreibt. Natürlich gibt es auch Beispiele: Video-Titel, -Tags und -Beschreibung für YouTube erstellen. * Folien, Links, etc.: https://goos-habermann.de/weisheit-10251-Summary-llm-Mit-KI-Zusammenfassen-Umschreiben-Taggen-etc 00:31 Was ist Summary-LLM? Anforderungen, "Installation", Starten 07:29 KoboldCpp: KI per Skript steuern 11:41 Ins Skript geschaut 17:46 Was kommt dabei raus? Beispiel: Zusammenfassung 24:58 Beispiel: YouTube