Künstliche Intelligenz muss nicht immer in der Cloud laufen. Moderne Laptops können mittlerweile selbst KI-Anwendungen ausführen. Möglich machen das neben leistungsfähigen Prozessoren und Grafikeinheiten zunehmend spezielle NPUs.
Ich wollte wissen, wie viel davon im Alltag tatsächlich übrig bleibt.
Als Testgerät verwende ich mein Lenovo ThinkPad E16 G3 mit Intel Core Ultra 5 228V und 32 GB RAM. Das Notebook ist für mich kein klassischer KI-Rechner, sondern ein Alltagsgerät für Schule, Programmierung, WordPress und viele gleichzeitig geöffnete Anwendungen.
Genau deshalb interessiert mich die Frage:
Kann ein vergleichsweise normaler Laptop lokale KI sinnvoll nutzen – und bringt die integrierte NPU dabei tatsächlich etwas?
Was ist lokale KI?
Bei einem klassischen KI-Dienst wie einem Online-KI-Chat wird die eigentliche Berechnung überwiegend auf Servern des Anbieters durchgeführt.
Bei lokaler KI wird das KI-Modell dagegen auf dem eigenen Computer ausgeführt.
Das hat einige interessante Vorteile.
Die Daten müssen für die eigentliche Verarbeitung nicht zwangsläufig an einen externen Server geschickt werden. Außerdem kann ein lokales Modell grundsätzlich auch ohne aktive Internetverbindung verwendet werden, sobald es auf dem Gerät installiert wurde.
Dafür benötigt man allerdings ausreichend leistungsfähige Hardware.
Je größer und anspruchsvoller das Modell ist, desto mehr Arbeitsspeicher und Rechenleistung werden benötigt.
Mein Testgerät: ThinkPad E16 G3
Für meinen Test nutze ich mein eigenes ThinkPad E16 G3.
Die wichtigste Ausstattung für das Thema KI:
- Intel Core Ultra 5 228V
- 32 GB Arbeitsspeicher
- 512 GB SSD
- integrierte Intel-Grafik
- integrierte NPU
- Windows
Ich habe mich für das Gerät ursprünglich nicht ausschließlich wegen der KI-Funktionen entschieden.
Für mich waren vor allem die Kombination aus Business-Ausrichtung, Verarbeitung, Tastatur, 32 GB RAM, Programmierleistung und Alltagstauglichkeit wichtig.
Die KI-Fähigkeiten sind deshalb ein interessanter Zusatztest.
CPU, GPU und NPU: Was ist der Unterschied?
Die drei Recheneinheiten haben unterschiedliche Aufgaben.
CPU – der Allrounder
Die CPU übernimmt klassische Rechenaufgaben und kann auch KI-Berechnungen durchführen.
Sie ist sehr flexibel und bildet weiterhin das Herzstück eines Computers.
GPU – spezialisiert auf parallele Berechnungen
Grafikprozessoren können bestimmte mathematische Berechnungen extrem parallel ausführen.
Das macht leistungsfähige GPUs besonders interessant für KI.
Genau deshalb besitzen viele leistungsstarke KI- und Gaming-Laptops eine dedizierte Grafikkarte.
NPU – spezialisiert auf KI
Eine Neural Processing Unit ist speziell für bestimmte KI-Berechnungen ausgelegt.
Dabei geht es nicht einfach darum, einen weiteren Prozessor einzubauen.
Ein wichtiger Vorteil der NPU ist ihre Effizienz bei bestimmten KI-Aufgaben. Sie kann Aufgaben übernehmen, für die ansonsten CPU oder GPU eingesetzt werden müssten.
Das kann insbesondere bei Funktionen interessant sein, die KI regelmäßig im Hintergrund verwenden.
Aber nutzt lokale KI überhaupt die NPU?
Hier liegt ein wichtiger Unterschied zwischen Marketing und Praxis.
Nur weil ein Laptop eine NPU besitzt, bedeutet das nicht automatisch, dass jedes lokale KI-Modell diese NPU verwendet.
Welche Recheneinheit tatsächlich zum Einsatz kommt, hängt von der jeweiligen Software und deren Unterstützung für die entsprechende Hardware ab.
Ein lokales Sprachmodell kann beispielsweise CPU oder GPU verwenden, während eine andere KI-Anwendung gezielt die NPU nutzt.
Deshalb sollte man bei einem sogenannten AI-PC nicht nur auf die NPU schauen.
Mein erster Schritt: LM Studio
Für meinen Praxistest eignet sich LM Studio besonders gut.
LM Studio – offizielle Website
Mit der Software können kompatible Sprachmodelle heruntergeladen und anschließend lokal ausgeführt werden.
Das Interessante daran: Nach dem Herunterladen des Modells ist für die eigentliche Textgenerierung keine permanente Verbindung zu einem Cloud-KI-Dienst erforderlich.
Damit lässt sich sehr einfach ausprobieren, was ein eigener Laptop mit lokaler KI anfangen kann.
Wie leistungsfähig muss ein lokales KI-Modell sein?
Ein häufiger Fehler beim Thema lokale KI ist die Konzentration auf möglichst große Modelle.
Mehr Parameter bedeuten nicht automatisch, dass das Modell auf dem eigenen Laptop sinnvoller ist.
Für einen mobilen Rechner ist ein kleineres Modell häufig wesentlich praktischer.
Mein ThinkPad besitzt 32 GB RAM. Damit stehen deutlich mehr Möglichkeiten offen als bei einem Notebook mit lediglich 8 oder 16 GB.
Allerdings müssen die 32 GB nicht ausschließlich für das KI-Modell zur Verfügung stehen.
Windows, Browser, Entwicklungsumgebungen und andere Programme benötigen ebenfalls Arbeitsspeicher.
Das wird besonders interessant, wenn man lokale KI nicht isoliert, sondern während der normalen Arbeit verwenden möchte.
Lokale KI beim Programmieren
Für meinen persönlichen Anwendungsfall ist die Programmierung besonders interessant.
Ein lokales Sprachmodell kann beispielsweise Aufgaben wie diese bearbeiten:
„Schreibe eine PHP-Funktion, die überprüft, ob eine Zahl eine Primzahl ist.“
Oder:
„Erkläre mir diesen PHP-Code und finde mögliche Fehler.“
Damit kann lokale KI zu einem zusätzlichen Werkzeug beim Lernen und Programmieren werden.
Gerade für Einsteiger ist das interessant, weil man Fragen direkt an ein lokales Modell stellen kann, ohne jedes Mal einen externen Dienst aufzurufen.
Natürlich sollte man generierten Code nicht blind übernehmen.
KI kann auch bei lokalen Modellen falsche oder unsichere Antworten produzieren.
Lokale KI und Datenschutz
Ein weiterer interessanter Aspekt ist der Datenschutz.
Bei einem lokalen Modell verlassen die eingegebenen Daten für die eigentliche Verarbeitung grundsätzlich nicht den eigenen Computer.
Das kann beispielsweise interessant sein, wenn man mit persönlichen Dokumenten oder internen Informationen arbeitet.
Dabei sollte man allerdings genau unterscheiden:
„Das Modell läuft lokal“ bedeutet nicht automatisch, dass die gesamte verwendete Software offline arbeitet.
Ein Programm kann beispielsweise zusätzliche Online-Funktionen besitzen.
Wer wirklich vollständig offline arbeiten möchte, sollte deshalb die Netzwerkverbindungen der jeweiligen Anwendung berücksichtigen.
Was bringt die NPU im Alltag?
Die NPU ist meiner Ansicht nach vor allem dann interessant, wenn Anwendungen sie tatsächlich unterstützen.
Bei einem modernen Laptop kann sie bestimmte KI-Aufgaben energieeffizient übernehmen.
Dazu gehören beispielsweise bestimmte Sprach-, Bild-, Kamera- oder Audiofunktionen.
Das bedeutet aber auch:
Die NPU ist kein Ersatz für eine leistungsstarke Grafikkarte.
Wer große lokale Sprachmodelle, Bildgeneratoren oder andere rechenintensive KI-Anwendungen ausführen möchte, profitiert je nach Anwendung häufig deutlich stärker von einer leistungsfähigen GPU.
Die NPU hat eine andere Zielsetzung.
Sie soll bestimmte KI-Aufgaben effizient auf dem Gerät erledigen.
Warum 32 GB RAM für meinen Anwendungsfall interessant sind
Bei meinem eigenen Einsatzgebiet kommen viele Programme gleichzeitig zusammen.
Ich nutze das Notebook unter anderem für:
- Programmierung
- WordPress
- Browser mit zahlreichen Tabs
- Office
- PDFs
- Recherche
- Medien
- lokale KI
32 GB RAM geben mir dabei einen größeren Spielraum.
Für einen reinen Office-Laptop wären 32 GB möglicherweise nicht notwendig.
Sobald aber Programmierung, virtuelle Entwicklungsumgebungen, Browser-Tabs und lokale KI zusammenkommen, wird zusätzlicher Arbeitsspeicher interessanter.
Gerade bei einem Notebook, das mehrere Jahre genutzt werden soll, sehe ich darin einen praktischen Vorteil.
Kann lokale KI einen Cloud-Dienst ersetzen?
Teilweise.
Für einfache Fragen, Zusammenfassungen, Erklärungen oder Programmierhilfe kann ein lokales Modell durchaus interessant sein.
Bei sehr komplexen Aufgaben oder besonders großen Modellen haben Cloud-Dienste allerdings weiterhin erhebliche Vorteile.
Dort stehen teilweise enorme Rechenressourcen zur Verfügung, die ein dünnes Notebook nicht bieten kann.
Lokale KI ist deshalb nicht unbedingt ein Ersatz für Cloud-KI.
Vielmehr sind es zwei unterschiedliche Ansätze.
Cloud-KI: maximale verfügbare Rechenleistung und große Modelle.
Lokale KI: mehr Kontrolle, Offline-Möglichkeit und Verarbeitung direkt auf dem eigenen Gerät.
Für wen lohnt sich lokale KI?
Schüler und Studenten
Wer Programmierung oder Informatik lernt, kann lokale KI als zusätzlichen Lernassistenten einsetzen.
Programmierer
Code erklären, Beispiele erstellen oder Fehler analysieren sind mögliche Einsatzgebiete.
Datenschutzbewusste Nutzer
Lokale Verarbeitung kann interessant sein, wenn Daten nicht unnötig an externe KI-Dienste übertragen werden sollen.
Technikfans
Für mich persönlich ist gerade der technische Aspekt interessant: Man kann selbst ausprobieren, was moderne Notebook-Hardware tatsächlich leisten kann.
Mein bisheriges Fazit
Das Experiment zeigt vor allem eines:
Ein moderner Laptop muss nicht automatisch eine leistungsstarke dedizierte Grafikkarte besitzen, um mit lokaler KI etwas anfangen zu können.
Das ThinkPad E16 G3 mit Core Ultra 5 228V und 32 GB RAM bietet eine interessante Grundlage für lokale KI-Anwendungen.
Die NPU sollte man dabei allerdings nicht als magischen KI-Beschleuniger betrachten.
Entscheidend ist, ob die jeweilige Software die NPU überhaupt unterstützt und welche Aufgabe ausgeführt werden soll.
Für lokale Sprachmodelle spielen deshalb auch CPU, GPU, RAM und die verwendete Modellgröße eine wichtige Rolle.
Genau hier liegt für mich der interessante Punkt der aktuellen AI-PC-Generation:
Der eigentliche Fortschritt besteht nicht nur darin, dass ein Laptop plötzlich „KI kann“.
Viel spannender ist die Frage, welche KI-Aufgaben künftig direkt auf dem eigenen Rechner sinnvoll, schnell und energieeffizient erledigt werden können.
Und genau das werde ich mit meinem ThinkPad E16 G3 weiter ausprobieren.
Dieser Artikel ist der Auftakt zu weiteren Praxistests rund um lokale KI, NPU, Programmierung und moderne AI-PCs.