Co-Founder and CTO of Signatrix (https://signatrix.com/), a startup in Berlin focussed on Machine Learning and Artificial Intelligence for Retail Applications
Due to technical issues, the first part of the interview-recording could not be saved, therefore the recording starts with a quick summary, of what was already discussed but could not be recorded.
https://s3-us-west-2.amazonaws.com/secure.notion-static.com/02ed5118-cef4-4f70-80e9-8c86e767a0d4/Interview_Felix_Muller_11.3.2019.m4a
Green are responses from Felix
Welche Rolle spielt LSTM bei aktuellem ML? Würdest du sagen, dass das ein großer Entwicklungssprung war, vielleicht sogar eine Art Paradigmenwechsel? Oder eher eine kleinere Evolution among others?
→ LSTM ist besonders relevant bei Sachen die sequenced, also zeit-basiert sind. Hier war es damals schon ein großer Durchbruch
→ Grundsätzlich geht es dabei um Attention, also auf welche vergangenen "Memories" sollte wieviel Rücksicht genommen werden? Wie können diese möglichst effizient gewichtet werden. Mittlerweile gibt es hierbei auch einige andere Attention Models, die vielversprechende Ergebnisse liefern. Beispiele für neuere Entwicklungen in diesem Feld finden sich z.B. hier:
https://arxiv.org/pdf/1706.03762.pdf (Dec 2017)
https://openai.com/blog/better-language-models/#task1 (Feb 2019, current state of the art)
Wie würdest du sagen, dass Quanten Computer sich auf ML auswirken? Könntest du dir vorstellen, dass durch Quanten Computer neue Arten von ML aufkommen, oder wird es nur eine Steigerung in Computation Power sein?
→ Quantum Computing wird einen sehr großen Einfluss auf Machine Learning haben, da ein Quanten Computer vor allem bei Optimierungsproblemen deutlich schneller und besser vorgehen kann als ein herkömmlicher Computer. Da die meisten Machine Learning Probleme grundsätzlich Optimierungsprobleme sind, könnten Quanten Computer hierbei große Verbesserungen mit sich bringen. Am grundsätzlichen Aufbau von ML müsste sich hierbei auch nichts ändern.
→ Beispiel für ein einfaches Optimierungsproblem: "Travelling Salesman", https://www.geeksforgeeks.org/travelling-salesman-problem-set-1/
Würdest du sagen, dass sich im Laufe der Zeit am core-gedanken von ML etwas geändert hat? Oder werden eigentlich die gleichen Prinzipien verfolgt wie schon vor 20 oder 30 Jahren? Könntest du dir vorstellen, dass in der Zukunft ganz neue Methoden aufkommen? (ok klar, zukunftsprognosen sind immer etwas schwierig, aber vielleicht gibt es aktuelle trends die darauf hindeuten..?) Oder "reicht" der aktuelle Ansatz, mit mehr computing power, für "echte" intelligenz?
→ Grundsätzlich ist es natürlich äußerst schwer zu sagen, ob da irgendwann etwas kommen mag, was zu einer allgemeinen Neuorientierung führen wird. In der nahen Zukunft werden es aber vermutlich weiterhin (so wie heutzutage schon) viele kleine Schritte sein, die zu Verbesserungen führen, z.B. bei bessere Fixes bei bereits existierenden Vorgehensweisen wie Single Shot Detection. Zur Zeit findet keine große Neuorientierung statt, sondern viel mehr viele kleine Verbesserungen, dafür aber sehr kontinuierlich. Vermutlich wird sich daran in den nächsten paar Jahren auch nichts grundlegend ändern.
→ Eine interessante Richtung die gerade verfolgt wird, ist der Ansatz, mehr Wissen über die Kausalität aktueller Systeme zu etablieren, da es gerade häufig schwierig bis unmöglich ist, nachzuvollziehen warum gewisse Ergebnisse zustande kommen. Dies macht einen Optimierungsprozess seines Netzwerks sehr schwierig, da man normalerweise einfach "ausprobieren" muss, welche Gewichtungen und Architekturen in dem Netzwerk das beste Ergebnis erzeugen. Manchmal kann man dann zwar im Nachhinein verstehen, warum die Änderungen zu besseren Ergebnissen geführt haben, aber eine Vorhersage ist in den meisten Fällen aussichtslos. Google hat hierfür sogar ein Vorgehen entwickelt, bei dem die Architektur und die Gewichtung eines ConvNets durch ein Reinforcement Netz optimiert wird, sodass also ein Netzwerk die Architektur eines Anderen optimiert, da die Kausalitäten für Menschen nicht unbedingt nachzuvollziehen sind, durch Maschinen klappt das besser. → https://arxiv.org/pdf/1707.07012.pdf