Ganz viele KI-Projekte!

Um einmal zu zeigen, wie ich die Möglichkeiten teste, mit KI Software zu entwickeln, liste ich einfach ein paar Projekte auf, die ich in der letzten Zeit durchgeführt habe. Ich finde sie auch allesamt interessanter als das 100ste Tetris- oder Snake-Spiel.

Bildverschlagwortung und Suche

Letztes Jahr im Sommer habe ich euch davon erzählt, dass ich meine Bilder mit Hilfe von lokaler KI verschlagworten wollte. Dazu hatte ich mir mit ChatGPT spezielle Python-Programme erstellen lassen. Letzte Woche habe ich etwa fünf Tage lang kontinuierlich (ca. 100 Stunden nonstop) meinen Rechner laufen lassen und alle über 215.000 Bilder verschlagworten lassen! Zum abschließenden Suchen habe ich mir mit Codex ein neues Suchprogramm in Lazarus bauen lassen, welches es jetzt erlaubt, Bilder in Millisekunden zu finden! Es ist ein tolles Gefühl, damit nach alten Bildern zu stöbern. Wenn ich mich jetzt an ein Bild erinnere, genügt es meist, zwei oder drei Begriffe anzugeben, und schon erscheint es in einer Bilderliste mit verkleinerten Vorschau-Bildern. Ein Klick darauf öffnet es mit dem in Windows 11 definierten Bildbetrachtungsprogramm – bei mir der Faststone Image Viewer – und ich kann auch gleich alle anderen Bilder sehen, die damals gemacht wurden und im Kontext zu dem gesuchten Bild stehen. Anders war es praktisch nicht mehr möglich, sinnvoll nach Bildern zu suchen; damit ist dieses Projekt eines der sinnvollsten für mich gewesen. Das ist vielleicht die sinnvollste Anwendung, die ich mit Hilfe von lokaler KI gemacht habe. Stellt euch vor, was es gekostet hätte, 215.000 Bilder über die API eines kommerziellen KI-Anbieters verschlagworten zu lassen.

Gleichungseditor, Computeralgebra und Kurvenbestimmung

Schon immer finde ich es herausfordernd, mathematische Dinge wie symbolische Mathematik zu programmieren, geschweige denn selbst seriöse Mathematik zu betreiben. Mein Allzeit-Favorit ist das mittlerweile sehr alte Programm Derive, welches vom Software Warehouse Honolulu entwickelt wurde. Zwischenzeitlich wurde es von Texas Instruments gekauft und in die Taschenrechner TI-89 eingebaut. So etwas wollte ich einmal selbst bauen und habe mir „Tom’s CAS“ programmieren lassen. Dabei habe ich sorgfältig darauf geachtet, dass die KI keine fertige Bibliothek nimmt, sondern alles selbst entwickelt. Besonders habe ich darauf geachtet, dass man den mathematischen Ausdruck entsprechend den „Punkt-vor-Strich“-Regeln editieren kann und er auch gemäß seiner Bedeutung groß genug dargestellt wird. Manchmal möchte ich eine Funktion haben, die für einen gegebenen Eingangswert einen bestimmten Ausgangswert herausgibt. Da ich selbst nicht so fit im Umgang mit Formeln bin, habe ich mir ein Modul einbauen lassen, das für eine von mir gezeichnete Linie eine solche Funktion ausgibt. Diese kann ich dann einfach nehmen und in meinen Controllern oder sonst wo einbauen!

Garmin-Tour-Verwaltung

Ich konnte mich nie damit anfreunden, dass Garmin irgendwann das Programm Mapsource nicht mehr unterstützte und die Online-Lösung Garmin Connect präferierte. So nutze ich auch heute noch das Garmin Edge 705 zum Mountainbike-Fahren, obwohl ich auch ein Garmin Edge 1000 besitze. Doch habe ich Sorge, dass das 705 irgendwann einmal nicht mehr funktioniert. Da habe ich überlegt, ob ich mir mit KI nicht einfach selbst ein Programm schreiben kann, welches sowohl das Edge 705 als auch das Edge 1000 unterstützt. Und ich wollte es diesmal als native Windows-Anwendung haben! Und nicht – wie die KI das meistens erst einmal macht, wenn man nicht vorgibt, in welcher Sprache die Lösung sein soll – in Python. Darum habe ich der KI gesagt, dass sie das Programm mit Lazarus, der Borland-Delphi-ähnlichen Entwicklungsumgebung in Object Pascal, bauen soll. Das hat unter anderem auch den Vorteil, dass ich die Anwendung später für Linux kompilieren kann! Außerdem sollten die mit Object Pascal kompilierten Programme sehr schnell und kompakt sein.

Eines der dabei auftretenden Probleme ist die Kartendarstellung. Denn Garmin hat ja mit Mapsource seine eigenen Karten und damit auch sein eigenes Kartenformat. Viele Anwendungen für Karten nutzen mittlerweile OpenStreetMap, die zwar kostenlos sind, aber die nicht wollen, dass man in eigenen Anwendungen den Server von OpenStreetMap zur Auslieferung von Kartenkacheln verwendet. Ein echtes Problem. Nun wäre es möglich, irgendeine Lösung für einen eigenen Kachelserver aufzubauen, aber ich hatte eine andere Idee. Vor vielen Jahren habe ich einmal einen Notfallsender für Android-Smartphones entwickelt und damals die Karten von Mapsforge genutzt. Damit war es möglich, direkt auf dem Smartphone Karten zu rendern! Ich wies die KI an, nachzusehen, ob es Mapsforge noch gibt und ob wir in meine neue Anwendung direkt eine Funktion einbauen können, um Karten direkt rendern zu können – so ließ ich die KI diese Funktionalität einbauen. Anfangs ging sie dazu einige Umwege, aber nach weiterem präzisen Nachfragen und nachdem ich die KI auf die entsprechenden Lösungswege schubste, hat es dann geklappt. Und wo wir schon so weit waren, ließ ich sie auch noch einen „Tileserver“ bauen und diesen neben Windows auch für Linux (auf dem Raspberry Pi) kompilieren. Jetzt habe ich meinen eigenen kleinen Tileserver, der von überall her erreichbar ist und den ich in Zukunft in allen meinen Anwendungen verwenden kann!

Doch wo ich schon einmal soweit war, wollte ich auch einen Routengenerator auf Basis „meiner“ Karten haben. Also so einen, bei dem man mit ein paar Klicks an bestimmten Stellen auf der Karte erreichen kann, dass das Programm lauter kleine Schritte bis dahin macht und man so relativ leicht ganz individuelle Touren zum Laufen oder Fahrradfahren bauen kann. Und so habe ich die KI auch eine solche Funktion einbauen lassen. Ganz ohne Google!

C-64 auf dem Lilygo T-Lora Pager

Der Pager bietet sich durch seine gebogene Gummitastatur im QWERTY-Layout, einem 2,3-Zoll-IPS-LCD-Panel mit einer Auflösung von 480 x 222 Pixeln und einem eingebauten Lautsprecher ziemlich gut als Plattform für einen C-64-Emulator für Menschen mit guten Augen an. Der C-64 hat eine Auflösung von 320 x 200 Pixeln. Passt fast perfekt! Ich beauftragte die KI, einen Emulator zu entwickeln, und habe bezweifelt, dass sie das hinbekommt, aber wider Erwarten hat es nicht lange gedauert, und auf dem Pager erschien die C-64-Einschaltmeldung in wunderschönem Hellblau! Besonders erwähnen muss ich dabei, dass Codex nicht nur den Emulator entwickelte, sondern die erzeugte BIN-Datei auch gleich auf den Pager flashte. Ein Test mit einem der damals moderneren Spiele – Uridium – zeigt, dass noch ein paar Probleme auftraten, aber Codex hatte irgendwie einen Debugkanal zum Pager aufgebaut und löste sie dann, nach meinen Hinweisen, alle selbständig! Allerdings basiert der Emulator auf – ach, lassen wir es Codex selbst sagen:

Die Basis ist Frodo 4.2 von Christian Bauer, ein quelloffener C64-Emulator. Von Frodo stammen die Emulation von 6510-Prozessor, VIC-II-Grafik, CIA, SID und 1541-Laufwerk. Für TomsC64 habe ich den Kern auf den ESP32-S3 des Pagers portiert und angepasst:

  • Display, Tastatur und Joysticksteuerung
  • Tonausgabe über den ES8311
  • SD-Karte, Disketten- und Programmauswahl
  • Menüs, gespeicherte Einstellungen und Launcher-Unterstützung
  • Speicheroptimierungen und Korrekturen am CPU-/1541-Timing Technisch läuft das mit Arduino und PlatformIO.

Zusy

Es reizte mich sehr, meine eigene Assistentin auf meinem PC zu besitzen. Also ganz lokal, ohne Cloud, ohne Zugriff auf irgendwelche Frontier-KIs. Darum habe ich im Urlaub mit ChatGPT an einem Nachmittag nur durch Gespräche den Entwurf einer lokalen Assistentin entwickelt, welche ich einige Tage später, als ich wieder zu Hause war, mit Hilfe von Codex habe umsetzen lassen und die ihre Intelligenz von einem lokalen, unter LM Studio betriebenen LLM bekommt. Anfangs in Python, aber als ich nach der ersten Verwendung überzeugt war, dass sie gut funktionierte, habe ich sie noch einmal in Lazarus entwickeln lassen. So habe ich nativen und sehr schnellen Code, den ich über die Lazarus-Entwicklungsumgebung auch selbst weiterentwickeln kann. Unter Umständen. 🙂

Damit Zusy etwas mehr Persönlichkeit bekommt, habe ich einige Grafiken ihres Kopfes erstellen lassen, die sie, passend zu dem, was sie macht, einsetzt. Zusy kann mit mir kurzweilige Gespräche führen und dabei helfen, meine Erinnerungen zu erfassen und aufzubereiten. Mittlerweile kann sie auch auf das Internet zugreifen, mir zum Beispiel News vorlesen oder für ein Gespräch nützliche Informationen abrufen.

Als Entwickler habe ich das Bedürfnis, ein wenig zu sehen, was sie macht, und darum habe ich mir einen grafischen Baum einbauen lassen, der mit Hilfe von SQLite realisiert wird und aus den 3 Hauptästen „Gespräch“, „Erinnerungen“ und „Archiv“ besteht. Den Baum kann ich nach Belieben händisch verformen, also zum Beispiel Äste umbenennen oder Äste komplett, samt ihrer Unteräste, zu anderen Ästen verschieben. Aber auch neue Äste einfügen oder Äste löschen. Aber Zusy kann das auch! Ich kann ihr gesprochene Anweisungen geben, wie zum Beispiel, dass sie für alle Unteräste des aktuellen Astes den mit dem Ast verbundenen Text nach Englisch übersetzen soll und für den übersetzten Ast einen neuen Ast unter dem jeweiligen Ast einfügen soll! Sie hört sich das an, präsentiert mir ein Fenster mit der Anweisung, damit ich sehen kann, ob ich alles richtig verstanden habe, und wenn ich ‚Ausführen‘ sage, erledigt sie den Job. Zusy ist momentan mein Lieblingsprojekt.

Qwen Bildwerkstatt²

Vor einigen Wochen las ich über einen neuen Bildgenerator (Qwen Image 2.1), der nicht nur einfach neue Bilder erzeugen kann, sondern auch vorhandene Bilder bearbeiten und dass sogar durch einfache Anweisungen in natürlicher Sprache! Das wollte ich sofort ausprobieren und wies Codex an, mir den Bildgenerator – in diesem Fall ein LLM – zu installieren und dazu eine Möglichkeit zu schaffen, ihn auszuprobieren. Mit ComfyUI kann ich nichts anfangen, darum bat ich die KI, mir eine andere Lösung zu entwickeln. Woraufhin ich nach ein paar Stunden, hauptsächlich bedingt durch das lange Herunterladen des riesigen LLMs, eine brauchbare Weboberfläche bekam, die – soweit ich weiß – alle Features von Qwen Image 2.1 unterstützte. Tatsächlich konnte ich so erste Versuche unternehmen. Aber es gab einiges, was mir nicht gefiel, und nachdem ich gesehen hatte, was Codex mit GPT-6 Astra anstellen kann, habe ich die Oberfläche noch einmal genau so entwickeln lassen, wie ich es wollte.

Cozy Game Lucy

Die seit Sommer nochmals gestiegenen Fähigkeiten der KIs haben mich weiter ermuntert, ihre Grenzen auszuloten. Ich bekam Lust, ein 3D-Spiel zu entwickeln, und entschied mich für three.js als Grundlage. Anfangs wollte ich einmal mehr so eine Art Lebenssimulation bauen lassen, also so eine Art Mischung aus Conways Game of Life und einer Räuber-Beute-Simulation. Aber mitten beim Experimentieren driftete das irgendwie in ein Cozy Game ab, welches ich einer meiner Töchter widmete. Diese liebt das Buch Ruf der Tiefe von Katja Brandis, in dem Lucy die Krake eine bedeutende Rolle spielt. Ich wollte meiner Tochter die Möglichkeit geben, Lucy unter Wasser bei ihrem täglichen Leben beobachten zu können. Relativ schnell gelang es mir zusammen mit der KI, eine relativ gut animierte ‚Krakin‘ zu simulieren, und es machte auch mir Freude, ihr zuzusehen. Jetzt fallen mir schnell immer mehr Dinge zum Einbauen ein, wie das Lucy ihre Farbe an die Umgebung anpasst oder sogar an bunte Spielzeuge, die man ihr irgendwohin legen kann. Dann sollte sie natürlich Freunde haben, und so ließ ich Fische einbauen – einmal Phantasiefische und einmal möglichst realistische Fische. Eine zweite Gattung folgte auch bald, bei der ich Mühe hatte, der KI beizubringen, ihre eleganten Bewegungen zu erzeugen. Füttern muss natürlich auch sein. Atemübungen und nette Sprüche, die durchs Wasser nach oben steigen, kann Lucy auch erzeugen.

https://steinlaus.de/lucy/lucy.html

Flockinstinkt

Aber ich habe 2 Töchter, und sobald ich den Kindern Lucy zeigte, war Tochter Nr. 2 ein wenig enttäuscht, dass sie nicht auch ein eigenes Spiel bekommen hatte. Also hingesetzt und nachgedacht. Da beide Töchter Pferde lieben (logisch!), habe ich über eine Pferdesimulation nachgedacht. Schließlich entschloss ich mich, ein Pferderennen programmieren zu lassen, bei dem es darum geht, die schnellste Reiterin zu sein. Also mit einer Highscore-Liste, so dass es immer wieder interessant ist, vielleicht doch noch einmal besser zu sein. Dabei wollte ich auch das Führen des Pferdes besonders machen und habe mir eine spezielle Zügelsteuerung ausgedacht. Die Pferde sollten aber auch sehr gut animiert sein, denn sonst würden die bei meinen Töchtern gleich für Kritik sorgen. Darum habe ich mit der KI länger an den Animationen gearbeitet und dabei sogar die Forschungsarbeit Pferd von 2024 heruntergeladen und mir Visualisierungen bauen lassen. An diesem Projekt habe ich bestimmt eine Woche gearbeitet. Wenn man aber nicht gerade ein Rennen macht, wollte ich, dass das Hauptpferd einfach so in der Landschaft herumstreift, trabt oder galoppiert. Außerdem sollte das Pferd aussehen wie das Pferd Spirit aus dem gleichnamigen Film, den meine Töchter lieben. Aber als ich Spirit so galoppieren sah, dachte ich, es müsste ab und zu eine Wildpferdeherde am Horizont zu sehen sein. Woraufhin ich die meiste Zeit an einem Algorithmus zum Herdenverhalten arbeitete. Das hat mich wirklich viel Zeit gekostet, aber ohne KI wäre ich es nie angegangen. Schließlich wollte ich noch die Titelmelodie von Spirit im Film haben und ließ einen MP3-Player integrieren. Leider darf ich das Euch nicht zeigen, weil das illegal wäre. Ich habe aber noch ein ganz ähnliches Spiel namens Flockinstinkt gebastelt:

https://steinlaus.de/flockinstinkt/flockinstinkt.html

Robotersimulation

Letztens sah ich das Short einer Informatikerin, die stolz ein Roboterprojekt vorstellte, bei dem ich aber nicht erkennen konnte, was das Besondere war. Scheinbar hatte sie die KI Yolo zur Erkennung einiger Objekte eingesetzt. Aber so etwas ist uralt und nicht mehr wirklich interessant. Das kommentierte ich zu ihrem Short und machte den Vorschlag, doch einmal einen Schritt weiter zu gehen und eine normale lokale KI zur Steuerung des Roboters zu verwenden, worauf ich leider keine Antwort mehr bekam. Diese Idee reizte mich aber, es selbst auszuprobieren. Denn wenn so etwas funktioniert, ist der Übergang zu nützlichen Robotern vielleicht näher als manche denken. Tatsächlich schlummert bei mir in einem Schrank noch ein Dobot Magician, den ich dafür hätte verwenden können. Allerdings fehlen mir 2 Kameras dazu. Da kam mir die Idee, einfach einen Simulator bauen zu lassen, mit dem ich diese Experimente dann durchführen kann. Keine Stunde später hatte ich die Simulation eines Dobot Magician samt zweier Kamerabilder auf dem Bildschirm laufen! Das ermöglichte es mir, mit verschiedenen Prompts auszuprobieren, inwieweit die KI den Roboter so steuern konnte, dass er eine Flasche von einem Punkt zu einem anderen transportiert. Aber das ist eine andere Geschichte.

Fazit

Ich habe noch sehr viele andere KI-Projekte gemacht, aber nicht alle sind so interessant wie die aufgeführten. Hier noch ein paar Beispiele:

  • Heringsschwarm-Simulation mit three.js
  • PDP11-Emulator auf Lilygo T-Lora Pager
  • Automatisches Unfall-Benachrichtigungssystem mit Kartendarstellung und Meshtastic auf Lilygo T-Lora Pager
  • Ein WebRadio auf Lilygo T-Lora Pager
  • Ein Zork-Emulator auf Lilygo T-Lora Pager
  • Ein Buchgenerator
  • Ein eigener Agent für meine lokale KI
  • Travelling Salesman Problem Solver
  • Tetris für 2
  • Original PacMan Clone
  • Ein Reisebuch DTP

…und vieles mehr.

 

Kommentar hinterlassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert