Deepseek holt Nvidia auf den Boden der Tatsachen zurück
Kommentar: Deepseek, ein chinesisches Startup, sorgt mit seinem neuen KI-Modell R1 für Aufsehen und schickt Nvidia-Aktien auf Talfahrt. R1 ist nicht nur leistungsfähiger als OpenAIs o1, sondern auch viel kostengünstiger zu trainieren. Deepseek zeigt, dass KI-Entwicklung nicht von teurer Hardware abhängig sein muss. Die Zukunft der KI könnte in China liegen. Die USA ist nicht mehr alleiniger Vorreiter.
Kerstin Mende-Stief, data://disrupted & Redaktion speicherguide.deDer chinesische Anbieter DeepSeek lässt den KI den Aktienkurs von NVIDIA einbrechen lassen. Interessant ist, dass sich im Silicon Valley immer noch alle Hersteller im KI Umfeld auf Nvidia und deren Highend-GPU konzentrieren – getreu dem Motto »viel hilft viel«. Ich bin nicht überrascht von der Entwicklung. Bereits seit zwei Jahren prophezeie ich, dass Technologien wie Quantum-Computing oder CXL (Compute Express Link) den Einsatz von GPU überflüssig machen werden. Interessant ist, wie schnell es auf einmal ging.
Das chinesische Startup Deepseek hat ein kostengünstiges Hochleistungsmodell für Künstliche Intelligenz (KI) entwickelt, das sich nicht hinter den Modellen von OpenAI oder Meta verstecken muss. Allein die Ankündigung versetzte die Börse in Aufruhr. Nvidia verlor 589 Milliarden US-Dollar an Marktwert. Es ist der größte Tagesverlust, den es je an der US-Börse gab. Insgesamt verzeichnete der Tech-Index Nasdaq fast ein Billion US-Dollar an Wert.
R1, das kostenlose und Open-Source-Modell ist leistungsfähiger als OpenAIs o1. Die Kosten für das Training von R1 betrug laut einem der Gründer nur 6 Millionen Dollar. Das entspräche zirka drei Prozent der geschätzten Trainingskosten von o1. R1 ergänzt das Portfolio von Deepseek, die mit V3 bereits ein mit GPT-4o vergleichbares Modell haben.
Zwar benutzt Deepseek nach eigenen Angaben ebenfalls GPUs für das Training. Aufgrund der US-Exportbeschränkungen für Halbleiter sollen diese jedoch weniger fortschrittlich sein als die der Konkurrenz. Die Exportbeschränkungen sollen den Vorsprung Amerikas bei der KI gewährleisten. Deepseeks vermeintliche Fähigkeit, mit weniger auszukommen, dürfte jedoch nur ein Teil der Wahrheit sein.
Deepseek mit effizientem Trainingsmodell
Ein großer Kostenfaktor für KI die Trainingsphase eines Sprachmodells, weil dazu eine große Menge Daten eingesammelt und verarbeitet werden muss. Das kostet Rechenzeit und damit insbesondere Strom. Hier unterscheidet sich Deepseek von allen anderen Modellen: Anstatt Daten einzusammeln, wird ein Großteil der Trainingsdaten von älteren Sprachmodellen direkt erzeugt. Rein mathematisch reicht das aus, damit das so angelernte, große Sprachmodell ordentliche Ergebnisse liefert. Dass neuere LLMs irgendwann einmal mit Daten trainiert werden, die von einer Vorgängerversion erzeugt wurden, war abzusehen. Schließlich gelangen auch von Sprachmodellen erstellte Texte ins Internet und werden von dort wieder als Trainingsdaten benutzt. Dass ältere Sprachmodelle aber absichtlich (und ausschließlich) dazu benutzt werden, direkt Trainingsdaten zu erzeugen, das ist neu. Im Hinblick auf Kosten und Zeitaufwand für das Anlernen von Sprachmodellen ist zu erwarten, dass diese Technik auch bei den großen amerikanischen Betreibern von Sprachmodellen einziehen wird. Es bleibt abzuwarten, wann uns das auf die Füße fällt.
Verarbeitung rechenintensive Workloads künftig effizienter & günstiger
Langfristig gilt es auch zu beachten, dass chinesische Hersteller unglaublich weit in der Adaption von zum Beispiel CXL sind. Bereits letztes Jahr stellten mehrere Anbieter im Rahmen des Open Compute Summit marktreife Produkte vor. Mit CXL ist es unter anderem möglich, Memory von der Rechenleistung zu entkoppeln. Bisher sind Memory physische Grenzen gesetzt. Einschränkungen existieren sowohl in der Bandbreite, mit der es angesprochen werden kann, als auch in der Kapazität. Mit CXL ist es erstmals möglich, eigene Memory-Farmen zu betreiben.
Dazu kommt, dass mehrere chinesische Hersteller passende IP-Cores entwickelt haben, die einen schnellen Austausch von Daten bzw. schnelle Zugriffe sowohl auf Storage als auch auf Arbeitsspeicher erlauben. Damit wird es zukünftig möglich sein, auch rechenintensive Workloads wie KI oder Machine-Learning mit handelsüblichen CPUs in gleicher Geschwindigkeit oder noch schneller als bisher mit GPUs auszuführen.
Der nächste große Quantensprung wird im wahrsten Sinne des Wortes Quantum-Computing sein. Quantencomputer sind in der Lage, zum Beispiel Simulationen viel schneller und zu geringeren Kosten als bisher durchzuführen. Quantencomputer benötigen wesentlich weniger Platz als die großen GPU-Farmen aktuell und vor allem lösen sie das Problem des immer höheren Energiebedarfs. Ein weiterer Vorteil ist, dass für Quantencomputer deutlich weniger physischen Ressourcen, wie zum Beispiel seltene Erden oder andere begrenzt zur Verfügung stehenden Materialien benötigt werden.
Deepseek ist erst der Anfang
Mit Deepseek haben wir erstmals einen kleinen Ausblick in die Zukunft erhalten. Ich bin mir sicher, dass diese Entwicklung erst am Anfang steht und wir kurzfristig noch weitere Durchbrüche auf dem Gebiet sehen werden. Im Rest der Welt täte man gut daran, sich auf die neuen Herausforderer aus dem Reich der aufgehenden Sonne einzustellen und ebenfalls auf andere Technologien als GPUs zu konzentrieren. KI ist hier und sie wird bleiben und wir werden Mittel und Wege finden müssen, den damit verbundenen hohen Bedarf an Speicher- und Rechenleistung anders als mit immer mehr Energie und Material zu bedienen.
Mit Herstellern wie Groq oder SambaNova gibt es ja auch bereits in Kalifornien Anbieter, die neue Ansätze verfolgen. Umso erstaunlicher ist, dass viele Experten immer noch glauben, dass der Zugang amerikanischer Unternehmen zu den fortschrittlichsten Chips ihnen weiterhin entscheidende Vorteile verschaffen würde – und den Export noch weiter einschränken wollen. Wohin das führt, haben wir in der Vergangenheit in der Causa Huawei gesehen.
Soweit meine erste Einschätzung. Momentan werden täglich neue technische Details bekannt. Wir halten Euch auf dem Laufenden. Bis dahin: Vernetzt Euch gerne mit mir.