OpenAI hat mit gpt-oss-20b erstmals ein Open-Source-Modell für „Chain-of-Thought“-Reasoning vorgestellt, das direkt auf mobilen Geräten ausgeführt werden kann. Das Modell mit 20 Milliarden Parametern wurde speziell für die lokale Inferenz auf Geräten mit Snapdragon-Prozessoren entwickelt. Bisher waren vergleichbare Modelle ausschließlich über die Cloud verfügbar.
Durch die frühe Bereitstellung des Modells und erste Integrationstests mit dem Qualcomm AI Stack konnte gezeigt werden, dass komplexe Schlussfolgerungen nun vollständig lokal durchgeführt werden können. Dies gilt als bedeutender Fortschritt in der Entwicklung von KI-Assistenten, die künftig direkt auf dem Gerät arbeiten sollen – mit Vorteilen bei Datenschutz und Reaktionsgeschwindigkeit. Dadurch dürften Smartphones mit Snapdragon Prozessoren generell noch mehr Möglichkeiten bei der KI Anwendung bekommen.
Man geht davon aus, dass diese Entwicklung einen Wendepunkt darstellt: KI-Funktionalitäten, die bislang Cloud-Infrastruktur erforderten, können nun direkt auf mobilen Endgeräten genutzt werden. Gleichzeitig zeigt sich, wie weit das KI-Ökosystem bereits ist – Open-Source-Initiativen wie die von OpenAI lassen sich unmittelbar von Hardware-Partnern und Entwicklern einsetzen.
Das Modell gpt-oss-20b soll über Plattformen wie Hugging Face und Ollama verfügbar gemacht werden. Weitere Informationen zur Integration und Bereitstellung werden demnächst über den Qualcomm AI Hub veröffentlicht.
Durch die Kombination mit Ollamas leichtgewichtigem Framework für große Sprachmodelle können Entwickler das Modell direkt auf Snapdragon-Geräten ausführen. Funktionen wie Websuche sind standardmäßig integriert, und über den „Turbo Mode“ lassen sich zusätzliche Modellfähigkeiten erkunden.
In den kommenden Jahren wird erwartet, dass durch größere Speicherressourcen und optimierte Software-Stacks die Leistungsfähigkeit von On-Device-KI weiter zunimmt. Man rechnet damit, dass dies den Weg für personalisierte, datenschutzfreundliche und latenzarme KI-Erlebnisse ebnet – direkt auf dem Gerät.
Mobilfunk-Newsletter: Einmal pro Woche die neusten Informationen rund um Handy, Smartphones und Deals!
Unser kostenloser Newsletter informiert Sie regelmäßig per E-Mail über Produktneuheiten und Sonderaktionen. Ihre hier eingegebenen Daten werden lediglich zur Personalisierung des Newsletters verwendet und nicht an Dritte weitergegeben. Sie können sich jederzeit aus dem Newsletter heraus abmelden. Durch Absenden der von Ihnen eingegebenen Daten willigen Sie in die Datenverarbeitung ein und bestätigen unsere Datenschutzerklärung.
Immer die aktuellsten Nachrichten direkt im Smartphone.
Unsere Kanäle gibt es kostenlos hier:
Telegram: Appdated Telegram Channel
Facebook: Appdated Facebook Seite
Twitter: Appdated Twitter Channel
Technikaffin seit den Zeiten von Amiga 500 und C64 – mittlerweile aber eher mit deutlichem Fokus auf die Bereich Mobilfunk und Telekommunikation. Die ersten Artikel im Telco Bereich habe ich bereits 2006 geschrieben, seit dem bin ich dem Thema treu geblieben und nebenbei läuft mittlerweile auch noch ein Telefon- und Smartphone Museum um die Entiwcklung zu dokumentieren.