Tut mir leid, mimo v2.5 pro ist wirklich nicht gut
Categories:
Manche Leute teilen, dass das Modell von Xiaomi Langstreckenaufgaben ausführen kann, mit hunderten Tool-Calls ohne Fehler. Ich weiß nicht, wer diese Testrichtung initiiert hat – es ist, als würde man sagen, ein Schüler könne 100 Minuten in der Prüfung ohne Toilettengang durchhalten, was keinen Sinn ergibt. Wir normale Menschen verstehen, dass für eine Prüfungssituation einzig und allein die Punktzahl zählt. Etwas großzügiger ausgedrückt macht die Punktzahl über 95 % der Bewertung aus. Man schaut normalerweise zuerst auf die Punktzahl und dann auf andere Leistungen; ist die Punktzahl niedrig, lohnt es sich nicht, weitere Aspekte zu betrachten. mimo kann zwar eine Aufgabe zu Ende bringen, aber das Problem ist, dass es sie nicht korrekt ausführt. Folgend sind subjektive, nicht quantifizierte Eindrücke zu mimo 2.5 pro, ausschließlich im Vergleich zu den Branchenbenchmarks der GPT-5-Reihe und der opus-Reihe. Die Befehlsbefolgung ist eher schwach, das Abrufen (Recall) ist schwach. Trotz des 1M-Kontexts ist der Nutzen eines großen Kontexts begrenzt, wenn der Abruf gering ist. Selbst als ich im Agenten den ATDD-Entwicklungsprozess vorgab, generierte mimo keine Fall-Dokumentation und keine Testfälle für mich. Das Verständnis der Intention ist schwach, was dazu führen kann, dass die Aufgabe von Beginn an abweicht. GPT-5 und opus sammeln zu Beginn des Gesprächs viele Informationen; die Informationssammlungsphase zu Beginn ist langsam, danach schnell. Der Vorteil dieser Langsamkeit ist ein geringeres Verständnisproblem bei der Intention, der Nachteil ist ein deutlich höherer Token-Verbrauch. mimo 2.5 pro zeigt zu Beginn des Gesprächs wenig Bereitschaft zur Informationssammlung, weshalb ich glaube, dass dieses Modell nur extrem kleine Programmieraufgaben ausführen kann, obwohl es einen 1M-Kontext hat. Da die Bereitschaft des Modells zur Sammlung von Umgebungsinformationen gering ist, ist die Unterstützung von mimo für Werkzeuge unter Windows sehr schlecht; standardmäßig werden Linux-Befehle ausgegeben. Sofern nicht nötig, entwickle ich standardmäßig auf einem Windows Dev Drive. Von GPT-5/opus ganz zu schweigen – die Benchmark-Modelle haben dieses Problem nicht, auch glm5.1 und DeepSeek v4 flash/pro zeigen ein normales Verhalten. Das Allgemeinwissen ist dürftig; offensichtliche, unwissenschaftliche Fehler werden nicht erkannt, und das Modell macht stur weiter. Am Ende verbraucht es viele Token für einen absurden Lösungs- und Änderungsvorschlag – es wäre besser, den Willen des Modells zur Kontextkonstruktion zu stärken. Zusammenfassend: mimo v2.5 pro hat einen starken Arbeitswillen, schwache Erkundungsbereitschaft, schlechtes Gedächtnis, dürftiges Allgemeinwissen, schwache Logik und schlechte Windows-Unterstützung – ein Modell, das wenig zu bieten hat. Zwar danke ich Herrn Lei für den geschenkten Token-Plan, aber im Vergleich zu GPT-5 ist es wie der Unterschied zwischen einem fleißigen Grundschüler und einem Doktoranden, keineswegs die angeblichen 80 % Fähigkeit, von der einige sprechen. Meine subjektiven Erfahrungen betreffen allesamt Programmieraufgaben, etwa 10 Anfragen, die 6 % meines 329-Yuan-Pro-Pakets verbrauchten. Grob gerechnet könnte das 329-Yuan-Paket in meinem Nutzungsszenario nur etwa 200 Anfragen senden. Außer einer einfachen Änderung an einer Einzelseite wurden alle anderen Implementierungen zurückgesetzt. Vielleicht ist es ein Modell, das sich zum Schreiben eignet? Jedenfalls eignet es sich nicht zum Programmieren.
