Liquid AIs neues LFM2.5-VL-DSpark kann die Textausgabe nach der Bildverarbeitung eines Vision-Language-Modells beschleunigen. Vision-Encoder und Eingabe-Prefill werden dadurch nicht schneller. Wenn Sie lokale Dokumentenextraktion oder visuelle Assistenz bewerten, entscheidet deshalb nicht die beworbene Tokenrate. Entscheidend ist, ob der vollständige Weg vom Bild zur Antwort den zusätzlichen experimentellen Drafter, eine kompatible Laufzeit und mehr Speicher rechtfertigt.
Am 24. September 2026 hat Liquid AI den experimentellen Vision-Drafter angekündigt. Er ergänzt LFM2.5-VL-3B und steht als herunterladbare Gewichte bereit; die Ankündigung ist kein neuer Tarif für einen gehosteten Dienst. Prüfen Sie das exakt zusammengehörende Artefaktpaar mit Ihrer eigenen Verteilung von Bildern und Antwortlängen, bevor Sie einen Produktionsendpunkt ändern. Die folgenden Messwerte stammen vom Anbieter. Ich habe die Hardware-Benchmarks nicht reproduziert.
Was sich ändert: ein Vision-spezifischer Drafter
Die neue Komponente ersetzt das Vision-Modell nicht. Mit ungefähr 280 Millionen Parametern schlägt sie Blöcke von Ausgabetokens vor, gestützt auf verborgene Zustände des Zielmodells LFM2.5-VL-3B. Das Zielmodell prüft diese Vorschläge. Liquid AI nennt eine um 8,9 Prozent höhere Parameterzahl im Deployment. Daraus folgt nicht, dass der gesamte Prozess nur 8,9 Prozent mehr Arbeitsspeicher benötigt. Messen Sie Laufzeitpuffer, Cache-Kapazität und temporäre Allokationen gesondert.
Wenn der Drafter die verborgenen Zustände verwendet, sind Bild- und Textrepräsentationen bereits in die Verarbeitung des Zielmodells eingegangen. Dadurch kann das Drafting nach der multimodalen Eingabeverarbeitung arbeiten. Die Grenze ist ebenso klar: Bereits zuvor angefallene Arbeit entfällt nicht. Die frühere DSpark-Veröffentlichung für Textmodelle ist Hintergrund, nicht die heutige Nachricht. Neu ist der passende Drafter für das Vision-Language-Zielmodell.
Die Model Card dokumentiert die Zuordnung und Laufzeitvoraussetzungen. Kombinieren Sie LFM2.5-VL-3B-DSpark mit LFM2.5-VL-3B. Ein ähnlich benannter Text-Drafter ist kein austauschbares Artefakt. Für GGUF nennt die eigene Sidecar-Dokumentation das VL-Zielmodell und dessen Vision-Projektor. Halten Sie sämtliche Revisionen im Deployment-Manifest fest.
Lesen Sie den Benchmark als zwei unterschiedliche Aussagen
Liquid AI berichtet für MLX-VLM auf dem M5 Max eine 2,30- bis 3,13-fache Decode-Beschleunigung und eine 1,56- bis 2,62-fache End-to-End-Verbesserung über sechs Aufgabenkategorien. Für llama.cpp auf dem M3 Ultra lauten die Bereiche 1,57–2,14 beziehungsweise 1,30–1,77. Für eine einzelne H100 nennt die Originalankündigung 2,04–2,66 beim Decode und 1,64–2,27 für End-to-End.
Das sind unterschiedliche Rechner und Software-Stacks, kein kontrollierter Vergleich für eine Hardwarebeschaffung. Die hervorgehobenen Einzelanfragemessungen verwenden Batchgröße eins, Temperatur null und 16-Bit-Verarbeitung. Auf Apple-Hardware werden FP16 und Draft-Blockgröße acht verwendet; auf der H100 BF16 und Blockgröße neun. Die Beschleunigung quantisierter Modelle liegt außerhalb der berichteten Release-Messungen. Übertragen Sie die Faktoren nicht auf ein bestehendes Vier-Bit-Deployment.
Der Unterschied zeigt sich bereits innerhalb einer Aufgabe: Für TextVQA auf dem M5 Max nennt die Model Card eine 2,69-fache Decode-Beschleunigung, aber nur eine 1,56-fache End-to-End-Verbesserung. Für COCO-Bildbeschreibungen auf demselben Stack sind es 3,13 und 2,59. Diese Anbieterbeobachtungen begründen eine Segmentierung nach Aufgabe. Sie prognostizieren keine Ergebnisse für deutsche Rechnungen, kontrastarme technische Beschriftungen oder Ihre Kamerabilder.
Bei kurzen Extraktionsantworten können Vision-Encoding und Prefill dominieren. Bei längeren Erläuterungen hat schnelleres Decode mehr Einfluss. Erfassen Sie Bildanzahl, Auflösung und tatsächliche Ausgabelänge gemeinsam mit der Latenz. Verlängern Sie Antworten nicht, um einen günstigeren Beschleunigungsfaktor zu erzeugen.
Verfügbarkeit, Laufzeiten und kommerzielle Nutzung
Die Safetensors- und GGUF-Repositories sind öffentlich zugänglich. Ein Betrieb auf kundenseitig kontrollierter Hardware ist grundsätzlich möglich. Ein Download belegt jedoch weder die Eignung für ein bestimmtes Gerät noch für eine Verarbeitungsregion oder einen regulierten Ablauf. Lokale Inferenz kann die Übertragung an ein gehostetes Modell reduzieren. Anwendungslogs, Telemetrie, Backups und Artefaktdownloads sind damit nicht automatisch kontrolliert.
Die Model Card nennt SGLang ab v0.5.19 und MLX-VLM ab v0.7.2. Die MLX-VLM-Release-Notes enthalten die LFM2-VL-Änderung zur Unterstützung von Speculative Decoding. Betrachten Sie Versionsnummern als Ausgangspunkt: Prüfen Sie, ob der installierte Build Zielmodell, Drafter und vorgesehenen Sampling-Modus unterstützt. Aktuell beschränkt die Model Card DSpark in MLX-VLM auf Greedy Sampling bei Temperatur null. Eine allgemeine Aussage über verteilungserhaltendes spekulatives Sampling hebt diese Laufzeitbeschränkung nicht auf.
Das SGLang-Beispiel der Model Card deaktiviert Radix-Caching. Behalten Sie diese Einstellung in der zugehörigen Baseline bei, wenn Sie ausschließlich den Beitrag des Drafters isolieren möchten. Vergleichen Sie anschließend separat mit der tatsächlichen Produktionskonfiguration. Sonst schreiben Sie eine gleichzeitig geänderte Cache-Politik möglicherweise dem Drafting zu. Der allgemeine Break-even-Leitfaden für Speculative Decoding erklärt Draft- und Prüfaufwand. Dieser Release ergänzt den Engpass der Bildeingabe und die Prüfung zusammengehörender Artefakte.
Die kommerzielle Lizenzierung benötigt eine eigene Beschaffungsprüfung. Sowohl die Drafter-Lizenz als auch die Lizenz des Zielmodells sind LFM Open License v1.0. Beide enthalten eine kommerzielle Nutzungsbeschränkung mit Umsatzbezug und definieren eine Schwelle von zehn Millionen US-Dollar Jahresumsatz. Lesen Sie werbliche Open-Weight-Aussagen nicht als uneingeschränkte kommerzielle Freigabe für Unternehmen. Lassen Sie Definition der juristischen Einheit, Schwellenwortlaut und Nutzungszweck rechtlich prüfen und vereinbaren Sie erforderlichenfalls passende Konditionen mit Liquid AI. Das ist ein Beschaffungshinweis, keine Rechtsberatung. Die geprüften Quellen nennen keinen Preis für eine gesonderte Unternehmensvereinbarung.
Die Freigabeentscheidung für diesen Release
Nutzen Sie die kompakte Entscheidungstabelle zur Auswahl des ersten Tests, nicht als Produktionsfreigabe auf Basis der Dokumentation.
|
Beobachtung |
Nächste Entscheidung |
|---|---|
|
Kurze Antwort; spätes erstes Token |
Vision und Prefill zuerst messen |
|
Lange Antwort; Decode dominiert |
Passenden VL-Drafter testen |
|
Vier-Bit-Produktionsbaseline |
16-Bit-Gewinne nicht übertragen |
|
MLX benötigt Temperatur über null |
Unterstützte Baseline beibehalten |
|
Kommerzielle Bedingungen offen |
Kommerziellen Rollout anhalten |
Fixieren Sie Zielgewichte, Bildvorverarbeitung, Projektor, Tokenizer, Prompt-Template, Sampling-Einstellungen und Ausgabelimit. Vergleichen Sie dieselbe Laufzeit mit deaktivierter und aktivierter Spekulation. Führen Sie einen zweiten Vergleich gegen das aktuelle Produktionsdeployment durch und kennzeichnen Sie abweichende Präzision oder Cache-Politik ausdrücklich. So trennen Sie die Fragen „Hilft dieser Drafter?“ und „Lohnt sich die Migration unseres Dienstes?“.
Bilden Sie einen kleinen, freigegebenen Testkorpus aus realen Arbeitsklassen: kurze Feldextraktion, längere visuelle Erläuterung und schwierige Bildeingaben. Berücksichtigen Sie deutsche Fachbegriffe, sofern die Anwendung sie benötigt. Halten Sie die Bildvorverarbeitung im ersten Vergleich konstant. Eine geringere Auflösung kann die Latenz senken und gleichzeitig kleine Schrift entfernen. Das ist eine Qualitätsänderung, keine kostenlose Inferenzoptimierung.
Erfassen Sie Zeit bis zum ersten Token, Antwortabschluss, Ausgabetokenzahl, maximalen Speicherbedarf und akzeptierte Draft-Tokens, soweit die Laufzeit sie ausweist. Wiederholen Sie die Prüfung bei repräsentativer Parallelität. Liquid AI berichtet einen mit steigender Parallelität kleiner werdenden Vorteil. Eine Messung bei Batchgröße eins belegt deshalb nicht denselben Faktor für einen ausgelasteten gemeinsamen Dienst. Der SLO-Leitfaden für selbst betriebene Inferenz hilft, Wartezeit und Modellausführung zu trennen.
Ausgabeäquivalenz ist keine fachliche Korrektheit
Der Anbieter beschreibt exaktes Greedy Decoding und Verteilungserhalt bei übereinstimmenden Sampling-Einstellungen. Prüfen Sie die fixierte Implementierung und numerische Konfiguration, statt byteidentische Ausgaben über sämtliche Geräte und Präzisionsstufen zu versprechen. Erfassen Sie fehlerhafte Extraktionsfelder, fehlende Einheiten und falsche visuelle Aussagen neben der Geschwindigkeit. Eine Antwort kann mit der Baseline übereinstimmen und dennoch falsch sein.
Für industrielle Assistenz qualifiziert schnellere Textgenerierung ein VLM weder zum Ausschleusen von Teilen noch zur Maschinensteuerung. Trennen Sie vorgeschlagene visuelle Erläuterungen von einer validierten Prüfpolitik. Der Leitfaden zur Kalibrierung visueller Qualitätsprüfungen behandelt Defekt-Scores und Teileentscheidungen. DSpark liefert keine neue Evidenz für diese Schwellen.
Ein begrenzter Canary benötigt weiterhin eine Route ohne Drafter, Speicherreserve und das vorherige Artefaktpaket. Stoppen Sie die Ausweitung, wenn fachliche Prüfungen scheitern, das erste Token sein Latenzbudget überschreitet, Speicherspitzen benötigte Kapazität verdrängen oder der Vorteil beim Antwortabschluss unter realistischen Ankunftsraten verschwindet. Auch kein nutzbarer Geschwindigkeitsgewinn ist ein gültiges Ergebnis. Behalten Sie dann die einfachere Route bei, statt eine zusätzliche experimentelle Komponente ohne Dienstnutzen zu betreiben.
Der nächste Schritt ist ein gemessener Pilot
Bringen Sie die aktuelle Modellroute, freigegebene Beispielbilder, die Antwortlängenverteilung und das Latenzbudget in eine KI-Implementierungsberatung ein. Das sinnvolle Ergebnis sind ein Manifest zusammengehörender Artefakte, ein phasenbezogener Vergleich und eine reversible Freigabeentscheidung — keine weitere Token-pro-Sekunde-Schlagzeile. Klären Sie die kommerziellen Bedingungen vor dem Produktionsrollout. Geben Sie anschließend nur die Arbeitsklassen frei, bei denen der vollständige Weg vom Bild zur Antwort den zusätzlichen Aufwand rechtfertigt.
