GPU

Was ist eine GPU?

Eine GPU (Graphics Processing Unit) ist ein spezialisierter Prozessor, der ursprünglich für die Darstellung von 3D-Grafiken in Computerspielen entwickelt wurde. Ihre Architektur -- tausende kleine Rechenkerne, die parallel arbeiten -- macht sie jedoch ideal für die massiven Matrixberechnungen, die beim Training und Betrieb von KI-Modellen anfallen. Heute sind GPUs die wichtigste Hardware-Grundlage für Deep Learning und KI insgesamt. NVIDIA dominiert diesen Markt mit Chips wie der H100 und der neueren B200-Generation.

Wie funktioniert eine GPU im KI-Kontext?

Während eine CPU (der normale Computerprozessor) wenige Rechenkerne hat, die komplexe Aufgaben nacheinander abarbeiten, verfügt eine GPU über tausende einfachere Kerne, die viele gleichartige Berechnungen gleichzeitig ausführen können. Beim Training eines neuronalen Netzes müssen Millionen von Gewichtungen parallel aktualisiert werden -- genau die Art von Aufgabe, für die GPUs optimiert sind. Die Software-Plattform CUDA von NVIDIA stellt die Verbindung zwischen KI-Frameworks wie PyTorch oder TensorFlow und der GPU-Hardware her. Für besonders große Modelle werden viele GPUs in Clustern zusammengeschaltet, wobei ein einziger Trainingslauf für ein großes Sprachmodell Tausende von GPUs über Wochen beschäftigen kann.

Warum sind GPUs wichtig?

Ohne GPUs wäre der aktuelle KI-Boom nicht möglich. Das Training moderner Large Language Models erfordert enorme Rechenkapazitäten, die nur mit GPUs wirtschaftlich bereitgestellt werden können. Für Unternehmen, die KI einsetzen möchten, stellt sich die Frage, ob sie eigene GPU-Hardware betreiben (On-Premise) oder Cloud-GPU-Dienste von Anbietern wie AWS, Google Cloud oder Azure nutzen. Die Kosten für GPU-Rechenzeit sind ein wesentlicher Faktor bei der Planung von KI-Projekten und beeinflussen die Entscheidung zwischen eigenem Modell-Training und der Nutzung fertiger KI-Dienste über APIs.

Verwandte Begriffe

CUDA · Deep Learning · Pre-Training · Batch Size · FP16/FP32 · Edge AI

Mehr dazu in unserem Blogartikel: KI-Kosten: Cloud vs. On-Premise

← Zurück zum Glossar