Arten von Reinforcement Learning
Verstärkendes Lernen wird anhand seiner Typen besser verständlich. Es gibt zwei Arten von RL: positiv und negativ.
Positives Reinforcement Learning
Positive Verstärkung liegt vor, wenn eine Handlung zu einem positiven Ergebnis führt. Jede Handlung eines Agenten, die die Gesamtleistung in der Umgebung erhöht, wird als positive Verstärkung betrachtet. Positives Verhalten wird zu bestehenden maschinellen Lernmodellen hinzugefügt, um als Belohnung zu fungieren. Es wird verstärkt, um vergleichbare Ergebnisse erneut zu erzielen.
Negatives Reinforcement Learning
Negatives Verstärkungslernen ist Lernen durch negative Ergebnisse und negatives Verhalten. Wenn der Algorithmus negative Handlungen ausführt, wird das negative Verhalten in Form einer Bestrafung verstärkt, damit die vorhandenen Modelle sich verbessern und bessere Leistungen erbringen. Die Bestrafung (negatives Verhalten) wirkt als Abschreckung, um das negative Verhalten zu minimieren. Sie setzt gleichzeitig einen Standard für positives Verhalten.
Dies wiederum ermöglicht es dem Agenten, durch die Leistungsoptimierung die Gesamtbelohnung zu maximieren.
Beispiele für Reinforcement Learning
Zum besseren Verständnis des Konzepts des Verstärkungslernens sind hier einige Beispiele aus der Praxis aufgeführt.
Kennen Sie die Pawlowsche Konditionierungstheorie? Verstärkendes Lernen funktioniert ähnlich.
Im Rahmen der Konditionierungstheorie schlug Pawlow vor, dass das Training eines Hundes einen Reiz erfordert. Dieser Reiz war das Läuten einer Glocke
. Das Geräusch allein führte jedoch zu keiner Reaktion. Auch die Präsentation des Futters führte zu keiner Reaktion des Hundes. Wurde jedoch die Glocke geläutet und das Futter dargeboten, begann der Hund zu speicheln. Pawlow schloss daraus, dass Speichelfluss eine erlernte Reaktion ist. Auch ohne Futter reagierte der Hund jedes Mal, wenn die Glocke läutete, mit Speichelfluss. Ähnlich verhält es sich mit der Verstärkung.
Der Hund wurde konditioniert und verband das Läuten der Glocke mit Futter. Wenn das Futter mit einer Verstärkung verbunden war, wirkte es als positive Verstärkung.
- Der Hund agiert als AGENT.
- Das Läuten der Glocke fungiert als STATE (ACTION).
- Lebensmittel wirken als BEZAHLUNG.
Je nach Anwendungsfall kann die Belohnung positiv oder negativ sein. Ein Hund kann auch bestraft werden, um Verbesserungen zu ermöglichen.
Anwendungen von Reinforcement Learning
Verstärkungslernen kann in verschiedenen Bereichen eingesetzt werden: Marketing, Gesundheitswesen, Rundfunk und Robotik. Hier sind einige der Anwendungen von Reinforcement Learning:
Reinforcement Learning im Marketing
Das digitale Marketing kann vom Reinforcement Learning profitieren. Im Marketing geht es darum, die Vorlieben und Abneigungen der Zielgruppe zu erkennen und ihr Kaufverhalten vorherzusagen. Unternehmen geben viel Geld für Analysen und digitale Marketingkampagnen aus, um solche Trends zu verstehen.
Reinforcement Learning und seine Möglichkeiten können Vermarktern helfen:
- Produktempfehlungen personalisieren
RL erkennt das Verhalten der Käufer und kann Produkte empfehlen, die am ehesten den Interessen und Vorlieben der Konsumenten entsprechen. Dadurch entsteht mehr Umsatz.
- Werbebudgets optimieren
Vermarkter geben normalerweise viel Geld für Werbung aus, ohne eine Garantie für einen ROI zu haben.
Reinforcement Learning sorgt für eine hohe Investitionsrendite durch personalisierte Empfehlungen und Echtzeit-Vorhersagen.
- Das passende Werbematerial finden
Für Vermarkter ist es nicht einfach, zielgruppengerechte Werbeinhalte zu finden.
Reinforcement Learning findet auf der Grundlage seiner verstärkenden Lernmodelle die beste Werbekampagne.
- Vorhersage von Kundenreaktionen auf Preisänderungen
Verstärkungslernen ist auch hilfreich, um mögliche Reaktionen der Kunden auf Preisänderungen vorherzusagen.
Weil Reinforcement Learning das Kaufverhalten der Kunden vorhersagen kann, lässt sich auch die Anzahl der Kunden ermitteln, die Preisänderungen begrüßen, während andere sie vielleicht ablehnen.
Reinforcement Learning in Rundfunk und Fernsehen
Auch der Rundfunk und der Journalismus profitieren in hohem Maße vom Verstärkungslernen. Durch negative und positive Verstärkung ist es einfacher, das Verhalten des Lesers in Bezug auf den Nachrichteninhalt zu erkennen.
Das Publikum hat heute viele Möglichkeiten, Gedanken und Meinungen zu einem bestimmten Thema zu äußern. Dies hat die Medien dazu veranlasst, Nachrichten vor ihrer Veröffentlichung auf ihre Richtigkeit zu überprüfen. Verstärkungslernen kann den Sendern helfen, die Wirksamkeit einprägsamer Schlagzeilen zu verstehen und die Reaktionen der Nutzer entsprechend vorherzusagen.
Reinforcement Learning für Gaming
Pro Gamers profitieren von Reinforcement Learning. Sie können den Agenten darauf trainieren, unerwarteten Herausforderungen zu begegnen, die ein normaler Spieler nicht meistern kann. Verstärkungslernen wurde bereits in beliebten Handyspielen wie Flappy Bird, Subway Surfers und anderen eingesetzt.
Das Verstärkungslernen hat diese Games spielbarer gemacht. Das Hinzufügen negativer Verstärkung wie der Abzug von Münzen und die Verringerung von Leben motiviert den Agenten, seine Leistung durch Erfahrung zu verbessern. Positives Verhalten wird durch Belohnungen in Form von Münzen gefördert. Diese Spiele verwenden eine Technik des Verstärkungslernens (der sogenannte Q-Learning-Ansatz), um den Agenten zu trainieren.
Das Verstärkungslernen wurde auch bei Ligaspielen wie Alpha Go und vielen anderen eingeführt.
Reinforcement Learning im Gesundheitswesen
Verstärkungslernen kann Leben retten. Es kann Krankheiten diagnostizieren, die besten Behandlungen vorschlagen, die erforderliche Medikation und sogar die Zeitpunkte bestimmen, zu denen die Dosen für die besten Ergebnisse verabreicht werden sollten.
RL verwendet hierfür DTRs (Dynamic Treatment Regimes). Es kann auch die Zahl von Fehlbehandlungen aufgrund von Verzögerungen bei der Diagnose reduzieren. RL identifiziert Probleme durch seine optimierten und verstärkten Lösungen.
RL automatisiert den Entscheidungsprozess, der bei laufenden Behandlungen erforderlich ist. Studien haben auch die Nutzbarkeit von Deep Reinforcement Chemotherapie, glykämische Kontrolle bei der Sepsis-Behandlung und mehr erwiesen.
Verstärkendes Lernen im Gesundheitswesen muss jedoch erst noch in realen Situationen getestet werden.
Reinforcement Learning in der Logistik und im Lieferkettenmanagement
Studien zufolge kann RL bei der Bestandskontrolle und bei der Katastrophenhilfe von Nutzen sein. RL verwendet historische Daten, um den Bedarf an Lagerbeständen durch seinen Prognose- und Optimierungsansatz im Voraus zu bestimmen. Es ist auch praktikabler als andere Anwendungen des maschinellen Lernens, da RL eine Umgebung benötigt, mit der es interagieren kann.
RL-Algorithmen können auch für die Bereitstellung von Lösungen verwendet werden. Angesichts des Mangels an Forschung und Anwendungen ist RL bisher bei der Handhabung komplexer Multiagentensysteme noch nicht praktikabel.
RL in der Logistik ist jedoch potenziell ein mächtiges Werkzeug, sobald mehr Forschungsmethoden in diesem Bereich angewendet werden.
Reinforcement Learning in der Herstellung
Das Hauptziel von Fertigungsbetrieben besteht darin, Produkte herzustellen, die den Bedürfnissen und Wünschen der Menschen entsprechen. Hersteller können RL-Lösungen nutzen, um den Prozess der Verpackung zu beschleunigen, Qualitätstests durchzuführen und Kundenfeedback schneller zu erhalten. RL kann das Kundenfeedback intelligenter nutzen und Verbesserungen in den Fertigungsprozess einfließen lassen. Dies führt zu einer besseren Produktleistung, Produktrentabilität und einer Erhöhung der Umsatzspanne.
In folgenden Bereichen bietet sich Reinforcement Learning für die Produktion an:
- Selbstreparatur von intelligenten Fertigungssystemen (Geräten)
- Produktdesign in den Bereichen Textilien, Arzneimittel und Legierungen
- Gärungskontrolle in der Biotechnologie
- Erzeugung von Fasern durch die Anwendung optimaler Strategien
RL kann auch bei der Auftragsplanung und Disposition von Massenprojekten innerhalb von Produktionseinheiten erfolgreich eingesetzt werden. Bei der Auftragsplanung gibt es viele Probleme, die auf einen Mangel an Informationen und Konfigurationsprobleme zurückzuführen sind. RL behandelt diese als negative Verhaltensweisen und entwickelt Optimierungstechniken, um positive Ergebnisse zu verstärken.
RL kann auch Herausforderungen im Zusammenhang mit additiver Fertigung, Produktmontage, hochpräziser Montage und mehr lösen.
Die Liste ist nicht erschöpfend. Verstärkungslernen kann auf viele andere Bereiche wie Robotik, Bildverarbeitung und Gastfreundschaft angewendet werden.
Herausforderungen beim Reinforced Learning
Da sich das Reinforcement Learning noch in der Entwicklungsphase befindet, weist es auch einige Einschränkungen auf.
- Nicht durchführbar bei fehlenden Daten
Verstärkungslernen erfordert eine Umgebung. Dies kann eine simulierte oder eine reale Umgebung sein. Mit dem Erfolg von RL in Spielen und Robotik hat es sich in simulierten Umgebungen bewährt. Alpha Go Zero ist ein Live-Beispiel dafür. Allerdings sind die Ergebnisse in der realen Welt weniger zuverlässig.
Außerdem verfügt eine simulierte Umgebung über unbegrenzte Daten, die RL-Lernmodelle zur Problemlösung nutzen können. Das ist in anderen Umgebungen nicht der Fall und auch nicht praktikabel.
Kurzfristig besteht ein Mangel an Daten, der die Leistung von RL-Algorithmen beeinträchtigen kann, da der Agent aus den in der Umgebung verfügbaren Daten lernt.
- Fehlschläge aufgrund schlechter Datenprotokollierung
Eine zuverlässige Datenprotokollierung ist das Herzstück von Projekten des verstärkten Lernens. Jede Verzögerung bei der Datenerfassung führt zu falschen Vorhersagen. Das Modell kann kläglich scheitern. Nach dem RL-Forscher Langford, gibt es einen starken Fehlermodus, der mit scheinbar geringfügigen Fehlern bei der Datenerfassung verbunden ist
.
Oft verwechseln Ingenieure die tatsächlichen Merkmale des Modells mit Referenzmerkmalen. Wenn es dann an der Zeit ist, die Modelle zu trainieren, wird das System durch die verfälschten Informationen lahmgelegt.
- Schwierige Auswahl von Belohnungsstrukturen
Wer wird belohnt? Beim Verstärkungslernen muss es eine Form der Belohnung geben, damit der Agent eine gute Leistung erbringt. In manchen Fällen ist es einfacher, Belohnungen festzulegen, aber in anderen Fällen ist es schwierig. Im Falle eines Handyspiels kann eine Belohnung mit dem Erreichen eines Punktes oder dem Sammeln von Münzen verbunden sein.
Im Falle des Marketings ist es viel komplexer. Wenn RL beispielsweise für Werbung eingesetzt wird, um die Anzahl der auf der Website zu platzierenden Anzeigen vorherzusagen, muss die Belohnung an die pro Ereignis erzielten Einnahmen gekoppelt sein. In diesem Fall würde es überall auf den Websites Anzeigen schalten, denn mehr Anzeigen bedeuten mehr Einnahmen. Eine Website voller Anzeigen würde sich jedoch als katastrophal erweisen.
Die Verknüpfung von Belohnungen mit Aktionen ist also einer der Nachteile von RL. RL funktioniert gut, wenn die Belohnungen leicht mit der Aktion verknüpft werden können, wie zum Beispiel die Verknüpfung von Verkäufen als Belohnung mit den Produktempfehlungen des vorausschauenden Käufers.
- Die Gestaltung von Belohnungen nimmt zu viel Zeit in Anspruch
Da die Belohnung das Schlüsselelement beim Verstärkungslernen ist, nimmt die Festlegung und Gestaltung von Belohnungen manchmal zu viel Zeit in Anspruch. Die Gestaltung von Belohnungen erfolgt mit Hilfe komplexer mathematischer Funktionen und erfordert viele Eingriffe, um Belohnungen hinzuzufügen, bevor eine Aktion abgeschlossen ist. In Wirklichkeit ist es jedoch komplexer als es klingt.
- Es dauert zu lange, um Ineffizienzen in der Stichprobe zu erkennen
AlphaGoZero hat mehr als eine Million Mal fast von selbst gespielt, bevor es herausfinden konnte, wie es sein Endziel im Spiel erreichen kann.
Das Hauptmotiv des verstärkten Lernens besteht darin, einen Agenten so zu trainieren, dass er Ineffizienzen in der Stichprobe findet und nach deren
Behebung vorankommt. Manchmal wird dieser Prozess jedoch zu langwierig.
Guss, Forschungswissenschaftler bei OpenAI: Bis man eine Belohnungsfunktion entwickelt hat, die in jedem Zeitschritt ein gutes Signal liefert, hat man die Aufgabe im Grunde schon gelöst.
- Fehlende Ressourcen
Die Implementierung von Reinforcement Learning in ein System erfordert ein hohes Maß an Rechenleistung. Von hochrangigen Forschungslaboratorien bis hin zu Computersystemen mit hoher GPU-Leistung muss RL über angemessene Ressourcen verfügen, bevor es in der Praxis umgesetzt werden kann.
Eine staatliche Schule oder eine Universität verfügen beispielsweise nicht über solche Ressourcen für RL.
Fazit
Verstärkungslernen ist ein Schritt zur Revolutionierung der vorhandenen Daten. Verstärkungslernen hat das Potenzial, allein mit Hilfe von Daten zu arbeiten, ohne Kenntnisse über Dynamik oder Analytik. Dieses Agenten- und Belohnungssystem lernt aus seiner eigenen Umgebung und Erfahrung, um Verhaltensweisen vorherzusagen – sei es im Bereich der Finanzen, des Marketings, der Werbung, der Spiele, der Robotik oder des Rundfunks.
