iPhone 15 pro

Apple GPT: Forscher zeigen, wie LLM Modelle auf dem iPhone laufen könnten

von

Apple GPT: Forscher zeigen, wie LLM Modelle auf dem iPhone laufen könnten – KI Systeme werden wohl 2024 verstärkt auf Smartphones zum Einsatz kommen, aber die technischen Anforderungen dazu sind immer noch recht hoch. Google lässt beispielsweise daher nur eine abgespeckte Version von Gemini auf den Pixel Modellen zum Einsatz kommen – mobil muss man sich mit Gemini Nano zufrieden geben. Auch Apple hat diese Herausforderungen im technischen Bereich, aber ein Paper zeigt nun, wie man dennoch LLM Modelle auch auf dem iPhone zum Einsatz bringen könnte. Der Weg für Apple GPT oder iPhone GPT ist damit also zumindest theoretisch möglich.

Bei Macrumors beschreibt man den Ansatz in dem Paper wie folgt:

In einem neuen Forschungspapier mit dem Titel „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ stellen die Autoren fest, dass Flash-Speicher in mobilen Geräten häufiger vorhanden ist als der RAM, der traditionell zum Ausführen von LLMs verwendet wird. Ihre Methode umgeht diese Einschränkung geschickt, indem sie zwei Schlüsseltechniken verwendet, die die Datenübertragung minimieren und den Flash-Speicherdurchsatz maximieren:

  • Windowing: Betrachten Sie dies als eine Recyclingmethode. Anstatt jedes Mal neue Daten zu laden, verwendet das KI-Modell einige der bereits verarbeiteten Daten wieder. Dies reduziert die Notwendigkeit eines ständigen Speicherabrufs und macht den Prozess schneller und reibungsloser.
  • Zeilen-Spalten-Bündelung: Diese Technik ist so, als würde man ein Buch in größeren Abschnitten statt nur einem Wort nach dem anderen lesen. Durch die effizientere Gruppierung von Daten können diese schneller aus dem Flash-Speicher gelesen werden, wodurch die Fähigkeit der KI, Sprache zu verstehen und zu generieren, beschleunigt wird.


Die Kombination dieser Methoden ermöglicht es KI-Modellen, bis zu doppelt so groß zu sein wie der verfügbare Speicher des iPhones, heißt es in dem Papier. Dies führt zu einer 4- bis 5-fachen Geschwindigkeitssteigerung bei Standardprozessoren (CPUs) und einer beeindruckenden 20- bis 25-fachen Geschwindigkeitssteigerung bei Grafikprozessoren (GPUs). „Dieser Durchbruch ist besonders wichtig für den Einsatz fortschrittlicher LLMs in ressourcenbeschränkten Umgebungen und erweitert dadurch ihre Anwendbarkeit und Zugänglichkeit“, schreiben die Autoren.

Apple arbeitet derzeit an einem LLM Modell unter dem Namen Ajax, das intern auch bereits den Spitznamen Apple GPT hat. Wann genau diese KI aber auf dem iPhone zum Einsatz kommen könnte, ist bisher noch offen und das Grundlagen-Papier gibt darauf natürlich auch keine Antwort.

Weitere Artikel rund um iPhone und Apple

Die neusten Artikel rund um Apple

Zuletzt aktualisiert: 22. Dezember 2023


Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!


Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.

Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel

Schreibe einen Kommentar