Die Idee hinter Aktivem Lernen
Der Grundgedanke hinter dem aktiven Lernalgorithmus ist, dass ein ML-Algorithmus eine höhere Genauigkeit erreichen kann, während er mit einer geringeren Anzahl von Trainingsmarkierungen arbeitet, wenn er die Daten, die er lernen möchte, frei auswählen kann. Das Programm kann diesen Ansatz nutzen, um eine maßgebliche Quelle, z. B. einen markierten Datensatz, abzufragen, um die richtige Vorhersage für ein bestimmtes Problem zu erhalten.
Ziel dieser iterativen Lerntechnik ist es, das Lernen zu beschleunigen, indem der Zeitaufwand für die Datenvorbereitung und die Abstimmung des Algorithmus minimiert wird. Der Kompromiss besteht darin, dass ein aktiver Lernalgorithmus in der Regel mehr Zeit benötigt, um die besten Trainingsetiketten zu finden.
Anforderungen für aktives Lernen
Eine der wichtigsten Überlegungen beim Einsatz von aktivem Lernen ist die Qualität der Daten. Um effektiv zu sein, müssen die Daten gut über verschiedene Klassen verteilt sein, damit der Algorithmus relevante Beispiele leicht identifizieren kann. Wenn die Daten nicht gut verteilt sind, kann es für den Algorithmus schwierig sein, gute Beispiele für jede Klasse zu finden, was zu einer schlechteren Leistung bei späteren Vorhersagen führen kann.
Tipp:
Qualitativ hochwertige Daten zum Training von Algorithmen für Ihr KI-System erhalten Sie, in allen Mengen und genau nach Ihren Anforderungen, bei clickworker.
KI-Trainingsdaten
Wie aktives Lernen funktioniert
Aktives Lernen funktioniert, indem man dem Algorithmus einen Ausgangspunkt mit markierten Daten vorgibt. Diese erzwungene Auswahl wird als aktive Instanz bezeichnet, und das Ziel des Lernenden besteht darin, so wenige Beispiele wie möglich auszuwählen. Je mehr er auswählt, desto höher ist das Risiko, dass er Beispiele falsch kennzeichnet und seine Leistung bei zukünftigen Vorhersagen verschlechtert.
Aktive Lernalgorithmen sind besser in der Lage, aus Datensätzen mit vielen Unsicherheiten zu lernen. Dies liegt daran, dass sie sich auf Instanzen konzentrieren, die am ehesten zu besseren Vorhersagen führen. Die vier gängigsten Arten aktiver Lernalgorithmen sind Selektives Sampling, Iterative-Refinement, Uncertainty Sampling und Query by Committee. Jeder Typ hat seine eigenen Stärken und Schwächen:
- Selektives Sampling – Der Algorithmus wählt zufällig eine kleine Anzahl von Instanzen aus dem Datensatz aus und kennzeichnet sie. Dann verwendet er diese Instanzen zum Trainieren des Modells.
- Iterative-Refinement – Der Algorithmus beginnt mit der Auswahl einer zufälligen Instanz als aktive Instanz. Dann vergleicht er den Vorhersagefehler dieser Instanz mit dem Vorhersagefehler aller anderen Instanzen des Datensatzes. Wenn er eine genauere Vorhersage für eine andere Instanz findet, stuft er diese Instanz erneut als aktiv ein und wiederholt den Vorgang.
- Uncertainty Sampling – Der Algorithmus wählt zufällig eine kleine Anzahl von Instanzen aus dem Datensatz aus und kennzeichnet sie. Er verwendet diese Instanzen dann zum Trainieren des Modells.
- Query by Committee – Der Algorithmus beginnt mit der Auswahl einer zufälligen Instanz als aktive Instanz. Dann teilt er den Datensatz in Cluster auf, wobei jeder Cluster ähnliche Instanzen enthält. Dann wählt er aus jedem Cluster eine aktive Instanz aus.
Welche Methode ist die beste?
Auf diese Frage gibt es keine allgemeingültige Antwort. Verschiedene Methoden sind für verschiedene Modelle besser geeignet, und jede Methode hat ihre Vor- und Nachteile. Das Uncertainty-Sampling funktioniert beispielsweise am besten, wenn es viele Beispiele gibt, die alle sehr ähnlich zu der Instanz sind, die Sie zu klassifizieren versuchen. Es funktioniert nicht so gut bei Modellen, bei denen einige Trainingsinstanzen mehr Informationen enthalten als andere (z. B. neuronale Netzwerke).
Die Vor- und Nachteile des aktiven Lernens
Aktives Lernen funktioniert am besten, wenn es möglich ist, einen guten Repräsentanten des Datensatzes zu finden (d.h. einen mit einer hohen Marge oder geringer Komplexität). Es lässt sich auch gut auf eine große Anzahl markierter Instanzen skalieren und schont gleichzeitig die Rechenressourcen, indem es sich zunächst auf die informativsten Beispiele konzentriert. Allerdings ist ein gewisses Fachwissen über die jeweilige Aufgabe erforderlich, um eine fundierte Entscheidung darüber treffen zu können, welche Instanz sich am besten für die Beschriftung eignet.
Die Idee hinter Active Learning ist es, den Benutzer entscheiden zu lassen, welche Instanz er annotieren möchte, und somit die Informativste auszuwählen.
Lassen Sie uns zunächst definieren, was ein aktiver Lerner ist – im Kontext des maschinellen Lernens bezieht er sich auf ein Modell, das bei der Kennzeichnung von KI-Trainingsdaten hilft, indem es deren Besitzer befragt. Wenn Sie zum Beispiel versuchen, einen Spam-Detektor zu entwickeln, wäre ein Ansatz, menschliche Nutzer zu fragen, ob E-Mail-Nachrichten Spam sind oder nicht. Könnte man jedoch nur eine Teilmenge der Benutzer befragen, wäre dies eine aktive Lerntechnik, die als „selektives Sampling“ bezeichnet wird, da sie Instanzen auf der Grundlage ihrer voraussichtlichen Nützlichkeit für die Kennzeichnung auswählt.
Ein Vorteil des selektiven Samplings gegenüber der vollständigen Erfassung besteht darin, dass es Zeit und Kosten spart und dabei die gleiche oder eine bessere Genauigkeit erzielt. Die Hauptnachteile bestehen darin, dass ein Orakel erforderlich ist, um zwischen wichtigen und redundanten Daten zu unterscheiden, und dass es nur dann anwendbar ist, wenn auch anderweitig genügend Kennzeichnungen zur Verfügung stehen.
Einige gängige Algorithmen für aktives Lernen
Decision Trees
Entscheidungsbäume sind eine Art überwachter Lernalgorithmus, der sowohl für Klassifizierungs- als auch für Regressionsaufgaben verwendet werden kann. Ziel ist es, ein Modell zu erstellen, das den Wert einer Zielvariablen auf der Grundlage mehrerer Eingabevariablen vorhersagt.
Entscheidungsbäume werden mithilfe einer rekursiven Partitionierungsmethode erstellt. Der Algorithmus beginnt am Wurzelknoten und unterteilt die Daten in zwei oder mehr Teilmengen. Die Aufteilung erfolgt auf der Grundlage der Werte der Eingabevariablen. Der Prozess wird dann für jede Teilmenge wiederholt, bis die Blätter erreicht sind. Die Blätter stellen die Entscheidungen oder Vorhersagen dar, die getroffen werden.
Entscheidungsbäume sind eine beliebte Wahl für Aufgaben des maschinellen Lernens, da sie leicht zu interpretieren sind und selbst bei komplexen Daten zur Entscheidungsfindung verwendet werden können.
Naive Bayes
Naive Bayes ist ein Klassifizierungsalgorithmus, der zur Vorhersage der Wahrscheinlichkeit verwendet wird, dass ein Datenpunkt zu einer bestimmten Klasse gehört. Es handelt sich um einen überwachten Lernalgorithmus, der auf einem Datensatz trainiert wird und dann zur Vorhersage der Klasse neuer Datenpunkte verwendet wird.
Naive Bayes ist ein einfacher und effektiver Algorithmus, der für eine Vielzahl von Aufgaben wie Spam-Erkennung, Textklassifizierung und Stimmungsanalyse verwendet werden kann.
Logistic Regression
Die logistische Regression ist ein Klassifizierungsalgorithmus, der verwendet wird, um Datenpunkten Etiketten zuzuweisen. Der Algorithmus gibt eine Wahrscheinlichkeit aus, dass ein Datenpunkt zu einer bestimmten Klasse gehört. Die logistische Regression ist ein linearer Algorithmus, was bedeutet, dass er Vorhersagen auf der Grundlage einer linearen Kombination der Eingangsmerkmale trifft.
Die logistische Regression ist ein leistungsfähiger Algorithmus, der sowohl für die binäre Klassifizierung (zwei Klassen) als auch für die Mehrklassenklassifizierung (mehr als zwei Klassen) verwendet werden kann. Der Algorithmus ist außerdem robust gegenüber Ausreißern, d. h. er kann auch dann noch genaue Vorhersagen treffen, wenn es Ausreißer in den Daten gibt.
Support Vector Machines
Support Vector Machines (SVMs) sind eine Art überwachter maschineller Lernalgorithmus, der sowohl für Klassifizierungs- als auch für Regressionsaufgaben verwendet werden kann. Der Algorithmus basiert auf der Suche nach einer Hyperebene, die die Daten am besten in Klassen einteilt.
SVMs sind in hochdimensionalen Räumen effektiver und können mit nicht linearen Daten verwendet werden. Sie sind auch relativ robust gegenüber Überanpassungen.
K-Nearest Neighbors
K-Nearest Neighbors ist ein überwachter Lernalgorithmus, der sowohl für die Klassifizierung als auch für die Regression verwendet wird. Der Algorithmus wird auf einen Datensatz trainiert und macht dann Vorhersagen auf der Grundlage der Ähnlichkeit neuer Datenpunkte mit den Punkten im Trainingssatz.
K-Nächste Nachbarn ist ein nicht-parametrischer Algorithmus, was bedeutet, dass er keine Annahmen über die zugrunde liegenden Daten macht. Dies macht ihn zu einer guten Wahl für Daten, die nicht linear separierbar sind. Der Algorithmus ist auch relativ einfach zu implementieren und kann mit einer kleinen Datenmenge verwendet werden.
Neural Networks
Einige gängige aktive Lernalgorithmen, die in neuronalen Netzen verwendet werden, sind die Deltaregel, das Perzeptron und der Backpropagation-Algorithmus. Die Delta-Regel wird zur Aktualisierung der Gewichte der Neuronen im Netz verwendet. Das Perceptron wird zur Klassifizierung der Daten verwendet. Der Backpropagation-Algorithmus wird verwendet, um den Fehler im Netzwerk zu finden.
Anwendungsfälle für aktives Lernen
Aktives Lernen hat eine Reihe von Anwendungen in Bereichen wie der Textkategorisierung, der Dokumentenklassifizierung und der Bilderkennung gefunden. Es wurde auch für die Krebserkennung und die Entdeckung von Medikamenten eingesetzt.
Text-Kategorisierung
Eine der häufigsten Anwendungen des aktiven Lernens ist die Textkategorisierung, d.h. die Aufgabe, einem Text eine Kategorie zuzuordnen. Bei dieser Anwendung sind die Kategorien in der Regel eine Reihe vordefinierter Bezeichnungen wie „Nachrichten“, „Sport“, „Unterhaltung“ und „Meinung“. Ziel ist es, jeden Text automatisch einer dieser Kategorien zuzuordnen.
Klassifizierung von Dokumenten
Aktives Lernen kann auch für die Klassifizierung von Dokumenten verwendet werden, d. h. für die automatische Zuordnung einer Klasse zu einem Dokument. Bei dieser Anwendung handelt es sich bei den Klassen in der Regel um eine Reihe von vordefinierten Bezeichnungen wie „technisches Dokument“, „Marketingdokument“ und „juristisches Dokument“.
Bilderkennung
Die Bilderkennung ist ein weiterer Bereich, in dem aktives Lernen eingesetzt werden kann. In diesem Beispiel haben wir ein Bild, und wir möchten, dass unsere Kommentatoren nur relevante Bereiche des Bildes beschriften. Mit anderen Worten: Wir müssen sicherstellen, dass jede beschriftete Region ein Maximum an Informationen zur Klassifizierung des Bildes beiträgt. Um dieses Ziel zu erreichen, wählt das aktive Lernen die interessantesten Regionen aus den nicht beschrifteten Daten aus und lässt sie von den Beschreibern bearbeiten.
Auf diese Weise verschwenden die Kommentatoren keine Zeit mit der Kennzeichnung überflüssiger Teile eines Bildes, die bei einer blinden Zuweisung von Kennzeichnungen für alle Bildregionen unbewertet geblieben wären.
Schlussfolgerung
Aktives Lernen ist eine Technik, bei der die Maschine selbst entscheidet, welche Datenpunkte am wichtigsten sind und von einem Menschen beschriftet werden müssen. Dies hat zahlreiche Vorteile gegenüber herkömmlichen Methoden des maschinellen Lernens. Allerdings muss in diesem Bereich noch viel geforscht werden, um festzustellen, welche Aufgaben und Datensätze sich am besten für aktive Lernansätze eignen.
Eine Frage, die noch unbeantwortet bleibt, ist, ob Active Learning den traditionellen Methoden immer überlegen ist – dies ist eine offene Frage, die noch weiter untersucht werden muss. Außerdem ist nicht klar, wie gut Active Learning mit zunehmenden Datenmengen skaliert. Es sind weitere Arbeiten erforderlich, um die Vorteile und Grenzen von Active Learning besser zu verstehen. Trotz dieser Unwägbarkeiten ist Active Learning ein vielversprechender Bereich, der bereits ein großes Potenzial zur Verbesserung der Genauigkeit von Modellen des maschinellen Lernens gezeigt hat.
Zusammenfassung – Aktives Lernen: Deep Learning ist eine Form des maschinellen Lernens, die es Computern ermöglicht, selbständig zu lernen. Deep Learning-Methoden wie Active Learning werden in der Regel zur Lösung sehr komplizierter Probleme mit zahlreichen Variablen eingesetzt. Beim aktiven Lernen kann die Maschine selbst bestimmen, welche Datenpunkte beschriftet werden sollen, wodurch Zeit und Mühe gespart werden können.
Exkursion: Aktives Lernen im Klassenzimmer
Aktives Lernen im Klassenzimmer ist eine Art des Lernens, bei der der Lernende aktiv in den Lernprozess eingebunden ist und nicht nur passiv Informationen aufnimmt.
Aktives Lernen kann viele verschiedene Formen annehmen, aber einige gängige Beispiele sind Diskussionen, Rollenspiele und Simulationen.
Es hat sich gezeigt, dass aktives Lernen effektiver ist als traditionelle, passive Lernmethoden wie Vorlesungen. Der Grund dafür ist, dass sich die Lernenden mehr mit dem Stoff beschäftigen und die Informationen besser behalten können.
Aktives Lernen ist vor allem im Klassenzimmer wichtig, da es dazu beitragen kann, dass die Schüler engagiert und motiviert bleiben. Es kann auch dazu beitragen, das Denken auf höherer Ebene zu fördern, z. B. durch Analyse und Synthese.
