Pilotinnovationswettbewerb „Energieeffizientes KI-System“

• Infineon Technologies AG: Leitung der iCommunity Deep Learning (interner Think-Tank für Künstliche Intelligenz von Infineon)
• Honorarprofessor, Lehrstuhl für Entwurfsautomatisierung an der TU München
• Mitglied der Enquete-Kommission „Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale“ des Deutschen Bundestags, a.D.

• Leiter des Zentrums für kardiovaskuläre Telemedizin an der Charité – Universitätsmedizin Berlin
• Oberarzt für Kardiologie an der Medizinischen Klinik m. S. Kardiologie und Angiologie
• Mitglied Editorial Board “European Research in Telemedicine”

• Professor für Design- und Testmethodik an der Universität Potsdam
• Leiter für Design- und Testmethodik am Leibniz-Institut für innovative Mikroelektronik IHP
• Technologiepartner ASIC 130 Nanometer

• DMTS Design Enablement (driving design methodology topics) bei GLOBALFOUNDRIES Dresden Module One LLC & Co. KG
• Technologiepartner ASIC 22FDX Nanometer

• Robert Bosch GmbH
• Gruppenleiter „Microsensorsystems" in der Abteilung "Advanced Technologies and Micro Systems"

• Head of Architecture & Technologies (TA) @Car Software Org, Volkswagen AG

• Innovationsmanager der Bundesagentur für Sprunginnovationen - SprinD
• über 30 Jahre bei NXP Semiconductors Germany GmbH, zuletzt als Senior Director Architecture & Technology

• Wissenschaftlicher Direktor, Deutsches Forschungszentrum für Künstliche Intelligenz GmbH, und Leiter des Bereichs „Intelligente Netze“
• Professor für Funkkommunikation und Navigation an der TU Kaiserslautern
• Vorstandsvorsitzender der Informationstechnischen Gesellschaft und Präsidiumsmitglied des VDE
• Vorsitzender des wissenschaftlichen Beirats des Leibniz-Institut für innovative Mikroelektronik IHP

• Team um Dr. Jens Krüger, Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM, Competence Center - High Performance Computing
• Team um Prof. Dr.-Ing. Norbert Wehn, Technische Universität Kaiserslautern, Lehrstuhl Entwurf Mikroelektronischer Systeme

Der Lösungsansatz dieses Teams fokussiert einerseits auf den Energieverbrauch der Hardware und andererseits auf die Suche nach einer geeigneten neuronalen Netzwerktopologie. Da die Netzwerktopologie einen erheblichen Einfluss auf die Hardwarekomplexität hat und umgekehrt, wählte das Team einen holistischen Ansatz, der beide Aspekte und deren gegenseitigen Abhängigkeiten berücksichtigt. Dazu wurden neuste mathematische Methoden der automatisierten Topologiesuche verwendet. Die Suche greift dabei auf eine Bibliothek extrem energieeffizienter Hardware-Baublöcke zurück, die vom Team entwickelt wurden. Mit diesem automatisierten Ansatz ist nicht nur die Implementierung äußerst energieeffizienter FPGA, sondern auch eine Reduzierung der Entwicklungszeit von Monaten auf wenige Tage möglich. Ferner ist diese Methode auch für viele andere Anwendungsgebiete einsetzbar. In diesem Projekt verbindet sich die algorithmische Expertise für die automatisierte neuronale Netzsuche mit der Expertise für energieeffizienten Hardwareentwurf, die von den beiden Teams eingebracht wurden. Durch die Kombination dieser beiden Fachdomänen ist eine neue Methode entstanden, die synergetisch beide Kompetenzen in sich vereint.

• Team um Dr. Johannes Schemmel, Universität Heidelberg, Kirchhoff-Institut für Physik

Der vom Team entwickelte Chip basiert auf der Heidelberger BrainScaleS Architektur und realisiert das Prinzip des neuromorphen Rechnens. Dabei werden die wesentlichen Strukturmerkmale des biologischen Nervensystems, nämlich Netze aus Neuronen, mittels elektronischer Schaltkreise nachgebildet. In den allermeisten Fällen wird diese Emulation mit Hilfe digitaler Berechnungen umgesetzt. Bei BrainScaleS ist dies anders: Hier übernehmen analoge Schaltungen diese Aufgabe. Anstelle von Zahlen werden hierbei die Zustände der Nervenzellen durch kontinuierliche Größen repräsentiert. Dadurch wird deutlich weniger elektrische Energie benötigt. Das entwickelte System könnte jahrelang den Herzschlag eines Menschen auf Vorhofflimmern überwachen und dabei lediglich von einer kleinen Knopfzellenbatterie mit Energie versorgt werden, so gering ist sein Stromverbrauch. Dennoch führt es dabei Milliarden von Rechenoperationen pro Sekunde aus.  Um die EKG-Messungen der kranken von den gesunden Patienten zu unterscheiden, wurde im Chip ein besonderes Neuronennetzwerk nachgebildet: Ein sogenanntes tiefes gefaltetes neuronales Netz. Diese Netze haben sich im letzten Jahrzehnt als äußerst leistungsfähig herausgestellt. Oft sind sie aber zu energiehungrig oder zu teuer für portable Anwendungen. Hier kann der entwickelte Mikrochip einen möglichen Ausweg aufzeigen: Er ist preiswert in der Herstellung, da er aufgrund seiner analogen Arbeitsweise mit kostengünstigen Produktionsmethoden gefertigt werden kann. Gleichzeitig bietet er aber dieselbe Rechenleistung bei minimalem Energieverbrauch wie die modernsten digitalen Technologien.

• Team um Dr. rer. nat. Frank Oppenheimer, OFFIS e. V., FuE-Bereich Produktion
• Team um Prof. Dr. rer. nat. Gregor Schiele, Universität Duisburg-Essen, Lehrstuhl für eingebettete Systeme der Informatik

Der Wettbewerbsbeitrag von LUTNet stellt eine einfach anwendbare Methode bereit, um eine Vielzahl unterschiedlicher KI-Anwendungen in energieeffiziente Hardwareimplementierungen umzusetzen. Dabei setzt er nicht primär auf die Entwicklung hochspezialisierter, ressourcensparsamer neuronaler Chipstrukturen (sogenannte Neuro-Chips), sondern hilft erfahrenen Entwicklerinnen und Entwicklern von KI-Lösungen ihr spezielles Anwendungsproblem effizient in konventionellen Hardwaretechnologien umzusetzen. Die Transformation der KI in eine Hardware-Implementierung erfolgt durch einen weitgehend automatisierten Prozess, der sich auf eine Basisbibliothek energieeffizienter KI-Hardware-Komponenten, z. B. für Faltungen, Pooling, etc. stützt. Die Verwendung dieser Methode verlangt nur sehr wenig Hardwarewissen, ermöglicht es aber gleichzeitig, verschiedene Zielplattformen zu testen und die jeweils beste auszuwählen. Aktuell adressiert LUTNet nur Convolutional Neural Networks (CNNs) als Basistechnologie für die KI und implementiert diese für FPGA eines bestimmten Herstellers. Eine Portierung auf andere Zielplattformen ist jedoch leicht möglich, da dies in der Methode bereits konzeptionell angelegt ist.

• Team um Prof. Dr.-Ing. Kambiz Jamshidi, Technische Universität Dresden, Institut für Nachrichtentechnik, Lehrstuhl Hochfrequenztechnik

Das Projekt setzte sich das Ziel, einen photonischen, also auf Licht basierenden, Hardwarebeschleuniger zu konstruieren und zu bauen. Dieser Beschleuniger führt die Operation zur Multiplikation und Summation (MAC), einen wesentlichen Bestandteil eines CNN, photonisch aus, wodurch die angrenzende Elektronik (z. B. ein FPGA) entlastet wird und zuletzt eine Reduktion des Energieverbrauchs des Gesamtsystems erreicht werden kann. In diesem Projekt wurde der Encoder der photonischen Schaltung unter Verwendung der EPIC-Technologie (Electronic Photonic Integrated Circuit) des Leibniz-Institut für innovative Mikroelektronik entworfen und gebaut und kann mit einem angeschlossenen FPGA kommunizieren.

• Team um Dr. Loreto Mateu, Fraunhofer-Institut für Integrierte Schaltungen IIS, Abteilung Integrierte Schaltungen und Systeme
• Team um Dr. Thomas Kämpfe, Fraunhofer-Institut für Photonische Mikrosysteme

Dieses Team fokussierte sich auf den Entwurf eines analogen Inferenz-Beschleuniger ASICs in 22 FDX® GLOBALFOUNDRIES-Technologie. Um den neuronalen Netzwerkalgorithmus als ASIC zu realisieren, wurde eine Prozedur für Hardware und Software Co-Design entwickelt. Mit den entwickelten Bausteinen ist eine automatische Generierung von Schaltplänen und Layouts der vorliegenden neuronalen Netzwerkalgorithmen möglich. Das ASIC-Design selbst beinhaltet zwei Hauptblöcke: Das neuronale Netzwerk und ein Mixed-Signal-Frontend. Diese Lösung zeichnet sich durch außerordentliche Flexibilität aus: Sie kann mit kleinen Änderungen für eine Vielzahl anderer Klassifizierungsprobleme von Zeitreihensignalen, wie z. B. Audiosignalen oder Vibrationssignalen angewendet werden. Des Weiteren ist es möglich, die Gewichtswerte des Netzwerkes jederzeit zu aktualisieren. Der ADELIA-ASIC erreicht in der Simulation einen Energieverbrauch von nur 449,95 nJ per Inferenzdurchgang, bestehend aus 235,42 nJ für den Mixed-Signal Frontend und 214,53 nJ für das neuronale Netzwerk. Somit ergibt sich ein mittlerer Leistungsverbrauch von 1,2 mW.

• Team um Daniel Sanchez, Hahn-Schickard-Gesellschaft für angewandte Forschung e.V., Gruppe Mikroelektronik
• Team um Prof. Dr.-Ing. Yiannos Manoli, Albert-Ludwigs-Universität Freiburg, Fritz-Hüttinger Professur für Mikroelektronik

Das Team verfolgte eine ASIC Implementierung in einem 22 Nanometer Prozess des Technologiepartners Globalfoundries. Im Gegensatz zum allgemeinen Deep Learning Trend kommt dabei ein Ansatz des klassischen maschinellen Lernens zum Einsatz: der Entscheidungsbaum, bzw. das Entscheidungsbaumensemble. Dieser ist zwar weniger mächtig als beispielsweise ein neuronales Netz, kann dafür allerdings weniger komplexe Aufgabenstellungen mit erheblich geringerem Ressourcenaufwand lösen. Die wesentlichen Erfolgsmerkmale dieses Beitrags sind zum einen die enge Verzahnung der Entwicklung von Softwarealgorithmus und Hardwareimplementierung. Dabei wurden über den gesamten Entwicklungszeitraum kontinuierlich Eigenschaften und Kosten der Hardware in die Optimierung des Algorithmus auf Softwareebene zurückgeführt. Zum anderen ist die innovative Implementierung der Baumstruktur in Hardware zu nennen. Sowohl die Einteilung der Merkmale in die im Modell enthaltenen Schwellwertintervalle als auch die komprimierte Abbildung der Baumstruktur auf Speicherinhalte tragen weiter zur Reduktion der zu verarbeitenden Datenmenge und des Energieverbrauchs bei. Im Wettbewerb sollen EKG-Datensätze über zwei Minuten verarbeitet werden. Es ist zu erwarten, dass durch diese Lösung eine Energie von weniger als 42nJ erforderlich sein wird – in etwa 1/10000 der Energie eines Flügelschlages eines Schmetterlings.

• Team um Prof. Hendrik Wöhrle, Fachhochschule Dortmund, Gruppe Intelligente autonome Sensor- und Aktor-Systeme
• Team um Prof. Dr. Dr. h.c. Frank Kirchner, Universität Bremen, Professur der Informatik

Neuronale Netze können ganz unterschiedlich aufgebaut sein. Kann man also Neuronale Netze bauen, die sowohl genau in ihren Vorhersagen als auch möglichst energieeffizient gleichzeitig sind? Wenn man eine solche Architektur gefunden hat, kann man diese auch auf einem speziellen Mikrochip unterbringen, um noch energieeffizienter zu sein? Ein Problem bei der Suche ist: Es ist nahezu unmöglich, viele verschiedene Architekturen auf gut Glück durchzuprobieren und zu testen, um die beste oder energieeffizienteste Architektur zu finden, dafür dauert der Lernprozess und die Transformation in einen Mikrochip viel zu lang. Kann man also wiederum künstliche Intelligenz und maschinelles Lernen einsetzen, um bei der Suche zu helfen? Hierum ging es in POMAA: Optimiere die Architektur von neuronalen Netzen für den Einsatz auf einem Mikrochip. POMAA hat gezeigt, dass dies tatsächlich möglich ist. Hierdurch können neuronale Netze schlanker, schneller und effizienter gemacht werden – und der Entwurf eines passenden Mikrochips gleich mit erstellt werden. Dies ermöglicht den Einsatz von neuronalen Netzen in vielen verschiedenen Anwendungsgebieten, bei denen ein niedriger Energieverbrauch zählt, etwas in der Robotik oder der Medizintechnik.

• Team um Prof. Dr.-Ing. habil. Christian Mayr, Technische Universität Dresden, Professur für Hochparallele VLSI-Systeme und Neuromikroelektronik, Lehrstuhl Hochfrequenztechnik

Die im Projekt ZEN entwickelte Hardware-Lösung auf Basis rekurrenter neuronaler Netze ist flexibel einsetzbar und gleichzeitig ähnlich energieeffizient wie die Ansätze mit händisch optimierten Merkmalen. Der Ansatz stützt sich auf eine ereignisbasierte Verarbeitung, die an die Arbeitsweise der Neuronen im menschlichen Gehirn angelehnt ist und den Rechenaufwand stark reduziert. Hierbei werden Rechenschritte nur bei Änderungen in den Eingangssignalen oder Zwischenwerten ausgeführt. Für die Wettbewerbsaufgabe waren damit im Mittel lediglich 12 Rechnungen pro Zeitschritt nötig. Zum Ermitteln von Signalmerkmalen wird eine Filterbank mit anpassbarer Struktur verwendet. Die Parameter der Filter werden zusammen mit dem rekurrenten neuronalen Netz durch maschinelles Lernen für eine Klassifikationsaufgabe benutzt. Dadurch sind Anpassungen an neue Anwendungen mit geringem Entwicklungsaufwand möglich. Die Verarbeitung wird bei ausreichender Sicherheit des Ergebnisses sofort abgeschlossen. Im Mittel war das nach nur 13 Sekunden einer EKG-Aufzeichnung der Fall. Die ZEN-Architektur kann die Wettbewerbsaufgabe mit lediglich 326 Byte Parameterspeicher erfolgreich lösen. Die ZEN-Hardware ist flexibel und skalierbar. Die Architektur der Filterbank und des neuronalen Netzes lässt sich beliebig konfigurieren. Durch eine systematische Implementierungsstrategie konnten die Realisierung und der Betrieb bei maximaler Energieeffizienz nachgewiesen werden. Durch den skalierbaren Ansatz ist nur eine Speichererweiterung erforderlich, um die Implementierung auch für deutlich komplexere Klassifikationsprobleme einsetzen zu können.

• Team um Prof. Dr.-Ing. Lars Hedrich, Johann Wolfgang Goethe-Universität Frankfurt am Main, Professur für Entwurfsmethodik am Institut für Informatik

Das Projektteam behandelte die Fragen, ob ein komplexes Klassifikationsverfahren wie ein Deep Neural Network (DNN) auf einem analogen Chip implementiert werden kann und wie energieeffizient ein solcher Chip schwierige Probleme lösen würde. Als Lösung wurde ein Ansatz für das Lernen und Entwerfen von energieoptimierten, analogen Schaltkreisen für DNNs entwickelt. Ausgehend von einem Trainingsdatensatz wird hier ein DNN gelernt. Dieses wird mit Hilfe einer entworfenen Bibliothek von analogen Blockelementen automatisiert an die Hardwarebedingungen angepasst und als analoger Schaltplan generiert, was den Entwicklungszyklus für neue Anwendungen entscheidend verkürzen kann. Im Ergebnis wurde ein energieeffizienter, programmierbarer Analogchip entwickelt. Ein analoger Chip rechnet nicht wie digitale Chips mit Nullen und Einsen in ihren Schaltkreisen, sondern kann Abstufungen und zwischen diesen Werten nutzen. ENERGICS kombiniert eine Vielzahl von Ideen, die den Energieverbrauch, die Genauigkeit und die analoge Chipgröße optimiert haben. Dieser neue Ansatz wird es ermöglichen, komplizierte DNNs für eine Vielzahl von Anwendungen umzusetzen und eine Brücke zwischen modernen Erkenntnissen des maschinellen Lernens und energieeffizienter analoger Hardware zu schlagen.

• Team um Dr. Bernhard Bennertz, Fraunhofer-Institut für Mikroelektronische Schaltungen und Systeme IMS, Geschäftsfeld Industrial AI
• Team um Prof. Dr.-Ing. Gernot Fink, Technische Universität Dortmund, Fakultät Informatik, Arbeitsgruppe Mustererkennung in eingebetteten Systemen

In diesem Projekt wurde eine hocheffizienten KI-Methode und ihre technische Umsetzung als spezialisierte und deswegen äußerst energieeffiziente Digitalschaltung kombiniert. Als KI-Methode kam eine Variante neuronaler Netzwerke zum Einsatz, nämlich ein sogenanntes neuronales Faltungsnetzwerk. Dieses ist in der Lage sowohl charakteristische Eigenschaften der zu untersuchenden EKG-Signale automatisch aus Beispieldaten zu lernen, als auch die Entscheidung darüber zu treffen, ob Vorhofflimmern vorliegt oder nicht. Das gelernte Modell erreichte eine hohe Zuverlässigkeit und konnte besonders kompakt realisiert werden, so dass nur eine äußerst geringe Anzahl an Rechenoperationen zu dessen Auswertung erforderlich ist. Trotz aller Spezialisierung konnten die Rechenwerke im Aufbau flexibel gehalten werden, so dass sie durch neue Re-Konfiguration und Re-Parametrisierung als Bausatz für die Realisierung anderer Anwendungen dienen können.

• Team um Prof. Dr.-Ing. Dietmar Fey, Friedrich-Alexander-Universität Erlangen-Nürnberg, Lehrstuhl für Informatik 3
• Team um Dr.-Ing. Marco Breiling, Fraunhofer-Institut für Integrierte Schaltungen IIS, Abteilung Breitband und Rundfunk

Das Thema des Projekts ist die besonders energieeffiziente Verarbeitung von Zeitreihensignalen. Dafür wurde ein Chip für KI-Berechnungen (Deep Learning) entwickelt, in dessen Schaltung mehrere innovative Konzepte eingesetzt wurden. Durch die Verwendung von speziellen systolischen Arrays kann die zur Ablaufsteuerung benötigte Energie stark gedrückt werden. Es werden nur die drei Gewichtswerte -1, 0 und +1 verwendet sowie Normierungen mit Zweierpotenzen. Der Chip enthält nicht-flüchtige Speicher, sogenannte RRAMs, samt Ultra-Low-Power-Schaltungen zum Schreiben und Lesen, die genau diese ternären Gewichtswerte sehr effizient speichern können. Diese Speicher erlauben es, die Signalverarbeitung über lange Phasen schlafenzulegen, um keine Energie zu verbrauchen. Bei typischen Signalbandbreiten im (Sub-) kHz-Bereich fließen nämlich die Daten viel langsamer in den Chip ein, als sie verarbeitet werden können. Das Aufsammeln dieser Daten während der KI-Algorithmus schläft, gefolgt vom schnellen Aufwecken des Algorithmus dank des PRAMs, sowie einer kurzen KI-Verarbeitung kann deshalb bis zu 95% Energieeinsparung im Vergleich zu einem „Always-On“-System führen. Zusätzlich wurde viel Wert auf einen (noch) teil-automatisierten Entwurfsprozess gelegt. Dazu gehören auch neu entwickelte Tools für hardware-aware angepasstes Training eines neuronalen Netzes, z. B. für die verwendete extreme Quantisierung. Dieser Prozess kann auch für andere Probleme und Anwendungen eingesetzt werden. Das Projekt zeigt eindrücklich, welche Optimierungspotenziale durch eine enge Zusammenarbeit zwischen den Entwicklern von Algorithmen und digitalen sowie analogen Chip-Entwicklern gehoben werden können.