Tinkerpete
Ihr wisst ja das ich seit einiger Zeit viel mit lokaler KI experimentiere. Es ist nicht einfach die verschiedenen LLM miteinander zu vergleichen. Subjektiv scheint schnell das eine oder andere gute Ergebnisse (zum Beispiel beim Vibecoding) zu liefern und ich verwende dann dieses am meisten. Wenn es dann auf einem Gebiet (zum Beispiel Texterstellung) sehr schlechte Ergebnisse liefert, gebe ich wieder einem anderen eine Chance. Die ersten wirklich guten Erfahrungen machte ich vor einem Jahr mit Mistral Small 3.2 24B Instruct 2506. Seit ein paar Tagen probiere ich das neue Qwen3.8 27B aus. Dies ist der Nachfolger von Qwen3.6 27B mit dem ich ebenfalls schon gute Ergebnisse erreichen konnte.
Es gibt ein paar Dinge die ich immer wieder mit neuen LLMs teste. Das erste ist die Fähigkeit zur Lösung von Gleichungen. Wenn da ein LLM versagt, ist es bei mir sofort wieder raus. Das bekommen mittlerweile aber alle von mir verwendeten ganz gut hin.
Das andere ist die Erzeugung eines Tetris Programms. Allerdings denke ich das die meisten LLMs bei ihrem Training jede Menge Tetris Code gesehen haben und darum ist das vielleicht gar nichts so besonders. ich erhöhe also die Schwierigkeit dadurch, das ich ihr immer die Aufgabe gebe ein Tetris für 2 Personen mit Python zu entwickeln, die gleichzeitig auf dem gleichen Keyboard spielen dürfen. Da kommt dann schon die 2-Spieler Verwaltung und das sinnvolle Aufteilen von Tasten dazu. Als zusätzliche Herausforderung soll auch noch die Original Tetris Melodie im Hintergrund spielen!
Früher war die Entwicklung eines Schachspiels etwas Besonderes. Für mich hatte die Entwicklung eines Schachprogramms immer etwas von Königsklasse. Wenn ich das schaffe, dann kann ich wirklich gut programmieren! Ich denke darum wenn so eine lokale KI das hin bekommt, dann ist das schon ein Zeichen! Die Aufgabe war es ein optisch attraktives Schachspiel als HTML Seite und mit JavaScript zu programmieren.
Darum habe ich in den letzten Wochen sowohl Qwen3.6-27b, als auch Gemma-4-31b-it diese Aufgaben gegeben und sie haben sie beide nicht komplett lösen können. Für das Schachspiel ist dabei ein schöner Rumpf entstanden, der dann immerhin auch wusste was die Figuren überhaupt ziehen dürfen, aber der Schachalgorithmus selbst war absoluter Schwachsinn. Meist hat nach kurzer Zeit der Computer immer nur hinten links den Turm hin und her gezogen.
Qwen 3.8 hat nun mit Hermes und 2 Aufrufen und 3 kleinen Verbesserungen mühelos ein wirklich brauchbares Tetris für 2 Spieler hin bekommen und das nicht funktionierende Schachspiel mit einigen wenigen Aufrufen absolut brauchbar machen können. ‚Brauchbar‘ heißt hier, dass, wenn ich sehr schnell spiele, es mir sofort meine Grenzen aufzeigt.
Ich möchte Euch die Ergebnisse nicht vorenthalten:
