Rückblick - ontolux Vorträge bei der M3 und der Berlin Buzzwords

ontolux war bei den für KI- und NLP-Themen relevanten Konferenzen Minds Mastering Machines (M3) und Berlin Buzzwords 2022 mit einem Vortrag im Juni 2022 vertreten. Qi Wu stellte Methoden zur Ressourceneinsparung von KI-Modellen mittels Knowledge Destillation vor.

Qi Wu´s Vortragsthema war bei beiden Konferenzen von besonderem Interesse, denn das Aufspüren von Einsparpotenzialen ist aktueller denn je. Komplexere KI-Modelle und auch Sprachmodelle erfordern immer mehr Rechenleistungen, was folglich auch mit einem erhöhten Energieverbrauch einher geht. Diesen zu minimieren, wird auch künftig immer wichtiger werden. Knowledge Destillation kann hier eine Methode sein.

Anfang Juni 2022 trafen sich Fachleute aus dem Machine Learning Umfeld zur fünften Auflage der Minds Mastering Machines (M3) in Karlsruhe. Vielfältige, aktuelle Machine Learning und KI-Themen wurden in rund 40 Workshops und Vorträgen diskutiert und vorgestellt, beispielsweise zu den Potenzialen von Machine Learning, künstlichen neuronalen Netzen und dem praktischen Einsatz von Natural Language Processing sowie Predictive Analytics.

Keynote Präsentation - Beginning 2 count - moderne Deep-Learning-Weltmodelle und Symbolic Reasoning

Die Keynote wurde von Jonas Andrulis gehalten. Er ist der Gründer von Aleph Alpha, einem Unternehmen, das neue KI-Basistechnologie für den öffentlichen und privaten Sektor erforscht, entwickelt und einsetzt. Mit der neuen KI-Basistechnologie werden KI-Modelle in die Lage versetzt, aus großen Mengen an Kontextinformationen in Bilder- und Textform, Bilder zu analysieren, Texte zu schreiben, offene Fragen zu beantworten, Zusammenfassungen zu erstellen, komplexe Texte in einfache zu übersetzen und vieles mehr.

Jonas eröffnete die Präsentation, indem er auf die Komplexität unserer realen Probleme und die Schwierigkeiten der KI-Gemeinschaft bei der Modellierung dieser Komplexität bei gleichzeitiger Gewährleistung der Widerstandsfähigkeit des Modells einging. Er schlug Self-Supervision als eine Hauptmethode zur Bewältigung dieser Herausforderung vor und verdeutlichte seine Ideen anhand einiger Praxisbeispiele.

Data Science in Production - Wärmebedarfsprognosen in der Cloud

Martin Danner ist Data Scientist bei scieneers, einem Unternehmen, das sich auf Data Engineering und Data Science konzentriert, mit dem Ziel, wirtschaftlichen Nutzen aus Daten in jeder Form zu generieren. In diesem Projekt arbeitet scieneers mit STEAG New Energies zusammen, die sich auf die Entwicklung dezentraler maßgeschneiderter Energielösungen auf Basis effizienter und nachhaltiger Konzepte spezialisiert hat.

In seinem Vortrag erläuterte Martin den kompletten Ablauf eines erfolgreichen Data-Science-Projekts. Er eröffnete den Vortrag, indem er die aktuelle Situation und die Herausforderungen des Projekts darlegte, das Problem analysierte und einen neuen ML-gesteuerten Ansatz vorschlug. Er erläuterte die Grundidee eines solchen Modells und warum man sich für dessen Einsatz entschieden hat. Er zeigte zwar erhebliche Verbesserungen auf, wies aber auch auf mögliche Schwachstellen des neuen Ansatzes hin. Neben dem Modellierungsteil gab er auch Einblicke in die Cloud-Computing-Architektur und den MLOps-Prozess. Sein Vortrag ist ein gelungenes Beispiel dafür, wie traditionelle Branchen, hier die Energiewirtschaft, von Daten und neuen Technologien aus der KI-Community profitieren.

Berlin Buzzwords ist Deutschlands spannendste Konferenz zu den Themen Speicherung, Verarbeitung, Streaming und Suche großer digitaler Datenmengen. Pandemiebedingt fand die Konferenz in den vergangenen zwei Jahren ausschließlich virtuell statt, jetzt gab es wieder eine Live-Version. Rund 60 Vorträge wurden von internationalen Referenten aus der ganzen Welt gehalten. Die Konferenz bot eine hervorragende Gelegenheit zum fachlichen Austausch und zur Vernetzung.

ontolux beteiligte sich in diesem Jahr mit dem Vortrag von Qi Wu “Compress giant language models to effective and resource-saving models using knowledge distillation” an der Konferenz. Der Vortrag zur energiesparenden ML-Modellierung mittels Knowledge Destillation, zog viele Konferenzteilnehmer an und löste intensive Diskussionen aus. Unter dem folgenden Link ist der Vortrag abrufbar.

Keynote von Fiona Coath “Meet the people fighting surveillance capitalism”

In diesem Jahr brachte die Konferenz mit der Keynote von Fiona Coath, “Meet the people fighting surveillance capitalism”, das Thema der digitalen Sicherheit und Privatsphäre auf die Agenda. Fiona versuchte, das Publikum für dieses Thema zu sensibilisieren, indem sie viele Beispiele dafür gab, wie manipulative Nachrichten in die Öffentlichkeit gelangen und wie viel Einfluss diese unbewusst auf uns ausüben können. Das Themen ist weltweit relevant, doch gewinnt eine besondere Relevanz in weniger industriell entwickelten Gebieten der Welt, in denen der Internetzugang von großen Unternehmen monopolisiert werden könnte. Ein Beispiel hierfür ist Facebooks “Free Basics”. Andererseits gab sie auch viele Beispiele dafür, wie Menschen gegen den Überwachungskapitalismus ankämpfen, wie etwa Krypto-Parteien, Whistleblower wie Cambridge Analytica, Netzneutralisierungs-Aktivisten und Datenregulierungs-Befürworter. Sie betonte, dass dieses Thema für jeden von uns relevant ist, und ermutigte jeden, sich stärker für Sicherheit und Privatsphäre zu engagieren.

NLP und neuronale Suche

Einige andere Vorträge auf der Konferenz zum Thema NLP konzentrieren sich vor allem auf die neuronale Suche. Die folgenden Vorträge sind aus unserer Sicht ebenso interessant:

• Neuronale Suche – Sprechen wir über Qualität

• Neuronale Suche kommt zu Apache Solr: Approximate Nearest Neighbor, BERT und mehr (Buzzwords)!

• Hybride Suche > Summe ihrer Teile?

• Offline Ranking Validation – Vorhersage von A/B-Test-Ergebnissen – Suche

Im Anschluss an die Konferenz wurden alle Vorträge als Videoaufzeichnungen online zur Verfügung gestellt.

Bildquelle: Jan Michalko/Berlin Buzzwords

Datum: 18.07.2022