Tags:
create new tag
, view all tags
Aktuelle Folien HIER


Aktuelle Folien HIER


KAPITEL I - Einführung


1. Vorlesung: Optimierung / Motivation / Beispiel: GP

  • Zentrale Literatur:
    • Weicker 2015
  • Weiterführende Literatur:
    • Koza 1992 (vorgestellte Beispiele der gentischen Programmierung)
    • Fogel 1995 (1. Kapitel, Einführung, Bezug zur KI)

  • Einführung und Motivation
  • Optimierung, System
  • Was ist ein Optimierungsproblem?
    • Einfache Definition (minimiere f(x) unter Nebenbedingung g(x) mit x aus dem Suchraum X)
  • Prinzipien der Evolution (kurz)
    • Was ist Evolution?
    • Reproduktion, Variation, Selektion
    • Population, Individuum, Fitness
  • Beispiel eines einfachen evolutionären Algorithmus
    • Suchraum: Sequenzen konstanter Länge
    • Zielfunktion: Hammingabstand

  • Allgemeiner evolutionärer Algorithmus (EA)
    • Was ist ein EA?
  • Übersicht und etwas Geschichte:
    • Evolutionsstrategie (ES)
    • Genetische Algorithmen (GA)
    • Evolutionäre Programmierung (EP)
    • Genetische Programmierung (GP)
  • Einordung:
    • Hillclimbing, Gradientenverfahren, Simulated Anealing
    • Zufallssuche / Random Search
  • Einordnung: KI, CI (computational intelliegence)
    • EAs lassen sich der weichen KI (computational intelligence) zuordnen.

  • Übung:
    1. Ein interessantes Opimierungsproblem in aktueller Primärliteratur finden und den Suchraum (genau) und die Zielfunktion (grob) beschreiben. Diskutieren, wie schwierig das Problem ist.

2. Vorlesung (1. Woche) Varianten der Optimierung und Historie:

  • Was ist ein Optimierungsproblem ?
    • Einfache Def. wiederholen
    • "so einfach ist es aber nicht immer"
  • Kompliziertere Varianten eines Optimierungsproblems
    • dynamische Zielfunktion
    • stochastische Zielfunktion
    • multikriterielle Zielfunktion
    • physikalisch implementierte Zielfunktion (in materio)
    • Zielfunktionen, die von der Evaluationshistorie abhängen
    • nicht (oder kaum) modellierbare Optimierungsprobleme (übel aber real)

* Genetische Programmierung (soweit wie wir kommen)

    • Beispiel 1: genetische Programmierung (GP), Regression
    • Beispiel 2: genetische Programmierung (GP), Artificial Ant
  • Vorstellung des vorlesungsbgleitenden Projekts
  • Semester Projekt diskutieren

  • Übung:
    1. wie zuvor
    2. Semesterprojekt überlegen


Kapitel II - Genetische Programmierung


3. Vorlesung: Genetische Programmierung

  • Zentrale Literatur:
    • keine
    • Dieser Teil der Vorlesung bedient sich aus sehr unterschiedlichen Quellen. Viele Beispiele sind aus Koza (1992) entnommen. Das Textbuch Banzhaf et al (1997) bietet eine umfangreiche Einführung, auch zu linearem GP. Entommen ist auch die Darstellung der Modularisierung (s.u.).

  • Weiterführende Literatur:
    • J. R. Koza, Genetic Programming, MIT Press, 1992
    • W. Banzhaf, P. Nordin, R. E. Keller, F. D. Francone, Genetic Programming - An Introduction, Morgan Kaufmann and dpunkt, 1997
    • Poli et al. http://www.gp-field-guide.org.uk/ (freier PDF Download, nicht direkt hier verwendet, ein Blick schadet aber nicht)

  • Historie
  • Was ist ein Programm?
    • Syntax
    • Semantik
  • Programmieren als Optimierungsproblem
    • Domäne, Suchraum, Zielfunktion
    • repräsentationsunabhängige Zielfunktion
  • "Human-competetive results"
  • baumbasierte Repräsentation von Programmen
  • Probleme:
    • Regression (Bsp.: Polynom)
    • Steuerung (Bsp.: Ariticial Ant)
    • Klassifikation (nächste Vorlesung)
  • funktionale Programme vs. Seiteneffekte

4. Vorlesung: Genetische Programmierung

  • zentrale Literatur: W. Banzhaf, P. Nordin, R. E. Keller, F. D. Francone, Genetic Programming - An Introduction, Morgan Kaufmann and dpunkt, 1997

  • weiterführende Literatur:
  • lineare GP
  • graphbasiertes GP
    • Prgrammfluss
    • Datenfluss
  • Modularisierung
    • ADF
    • Module acquisition
  • Leistungsbewertung
  • Weitere Techniken (optional)
    • chemisches GP (nicht besprochen)
    • Meta-GP (kurz angerissen)

5. Vorlesung: Moderne Varianten der GP


Kapitel III - Evolutionsstrategie


6. Vorlesung: Evolutionsstrategie

  • (mu/roh+,lambda)-ES
  • Selektion, Mutation, Rekombination (diskret und intermediär)
  • Building-Block-Hypothese vs. Genetic Repair
  • Individuum = (Objektvariable, Strategieparameter, Zielfunktionswert)

7. Vorlesung: Evolutionsstrategie II

  • zentrale Literatur:
  • weitere Literatur:
    • Bayer 2001 (für einen tiefen Einblich in die Theorie der ES),
    • Ostermeier/Hansen et al. (kummulative Schrittweitenadaptation)
    • CMA-ES Intro

  • Drei Performanzmaße:
    1. Erfolgswahrscheinlichtkeit (maximal 1/2, minimal 0)
    2. Fortschrittsrate (erwarteter Fortschritt im Suchraum)
    3. Qualitätsgewinn (ist für das Kugelmodell äquivalent zur Fortschrittsrate, daher nicht weiter betrachtet)

  • Adaptation der Strategieparameter
    • 1/5-Erfolgsregel (Ableitung aus Erfolgswahrscheinlichkeit und Fortschrittsrate in Abhängigkeit der Schrittweite Sigma)
    • mutative Schrittweitenadaptation (Multiplikation mit log-normalverteilter Zufallszahl, Parameter Tau emprische Formel)
    • kummulative deterministische Adaptation (CSA) (sie unten)
    • Verschachtelte ES (vgl. Spielkarten nach Rechenberg) und Meta-Evolution
  • Testprobleme
    • Kugelmodell (1+1 ES optimal)
    • Parabelgrad (Komma-Strategie lohnt sich)
    • verrauschtes Kugelmodell (Rekombination lohnt sich, theoretisch optimale Reakombinationsgröße ableitbar)
  • verschachtelte ES
  • graphische Darsellung (Spielkarten nach Rechenberg)
  • ein Beispiel aus der Anwendung (Chemie: Vorhersage von Schmelzpunkten)

8. Vorlesung: Adaptive Schrittweitensteuerung (CSA-ES und CMA-ES)

* Zentrale Literatur:


Kapitel IV - Genetische Algorithmen


9.Vorlesung: Genetische Algorithmen

  • zentrale Literatur:
    • Weicker 2015
  • Algorithmus, zentrale Parameter
  • Selektion
  • Repräsentation, Genotyp, Phänotyp
  • Selektion, Rekombination, Mutation

10.Vorlesung: Genetische Algorithmen - Theorie

  • Theorie: Markov-Kette
  • Theorie: Schema Theorem, Building-Block-Hypothese
  • Theorie; Formae, Theorem nach Price (nur kurz erwähnt)
  • Theorie: fehlendes Schematheorem

10b. Vorlesung: Genetische Algorithmen - klassifizierende Systeme

  • zentrale Literatur:
    • Weicker 2015
  • Klassifizierende Systeme (engl. classifier systems, CS)
    • Grundstruktur eines klassifizierenden Systems
    • Credit asignment problem
    • CS Funktionieren in der Praxis nicht in hier dargestellten "reinen" Form


Kapitel V - Multikriterielle Optimierung


11. Vorlesung: Multikriterielle Optimierung

  • Grundlegende Konzepte (formal und intuitiv umfassed verstehen)
    • Paretodominanz (A dominiert B, wenn A in jedem Ziel mindestens genausogut wie B ist und in mindestens einem Ziel echt besser)
    • paretooptimal, Paretomenge(P) = Menge aller Elmente von P, die von keinem Element aus P dominiert werden.
    • Paretofront = Bild einer Paretomente im Raum der Zielfunktionswerte
  • konvexe und konkave Paretofronten

  • Lösungsansatz: Integrierende Ansätze
    • Beispiel: Lineare Aggregation (= gewichtete Summe der Zielfunktionswerte)
    • Problem: Paretofront kann i.A. nicht gefunden werden, auch wenn man die Gewichtungsfaktoren variiert.
  • Lösungsansatz: Kriterium der Paretooptimalität in die Fitnessfunktion integrieren.
    • Stichwort: Zwiebelschalenmodell
    • Problem: Ohne Diversitätserhaltung clustert oft die Population
  • Anmerkung: Aktuelle MOEAs verwenden auch Aggregation mit variierenden Faktoren um Paretorfronten zu approximieren.

12. Vorlesung: Multikriterielle Optimierung + Diversitätserhaltung

  • Problem des Diversitätsverlusts
  • Einschub: Methoden zur Steigerung der Diversität
    • Mutationsrate
    • Kompartments / Inselmodell
    • Fitnesssharing
    • Modifikation der Turnierselektion
  • Bewertung multikritieller Optimierung
    • Viele Maße
    • Ranking auf der basis eines skalaren Performanzmaßes nicht sinnvoll (siehe Theorem in Zitzler et al. 2002).
    • Ist wieder ein multikritielles Problem.


Kapitel VI - Weiterführende Themen


13. Vorlesung: dynamische Zielfunktion und andere nette Sachen

  • Verauschte Zielfunktion
    • Mehrfachauswertung empfehlenswert und i.d.R. notwendig
    • Mittelwert, Varianz und Standardfehler sollten berechnet werden
    • Mit statistischen Tests (bspw. t-Test) können Individuen verglichen werden und geeignete Stichprobengrößen ermittelt werden.

  • Dynamische Zielfunktionen
    • Varianten: nur abhängig von der Zeit, abhängig von den Aktionen des EA
    • Referenzindividuen können zur Messung/Überwachung der Dynamik genutzt werden.
    • Arten der Dynamik: Oszilation, Bewegung der Optima
    • Beispiel: Random Morphology Robot
    • Drei Skalen der Dynamik: schnell, mittel, langsam
    • etwas Theorie: Wilke (2013 nur kurz gezeigt)
  • Coevolution (Beispiel: Sortiernetzwerke, Hillis)
    • auch ein Beispiel für eine dynamische Zielfunktion

14. Vorlesung: Memetische Algorithmen und Evolution in-materio

  • Memetische Algorithmen / Hierarchischer EA
    • nützlich bspw. bei Struktur- und gleichzeitiger Parameterevolution
    • Beispiel "Gene Expression Genetic Programming" (GEP) kombiniert mit CMS-ES (Iulia Illie Dissertation)
  • Tabu Search (nur genannt, nicht besprochen)
  • Evolution in-materio (Zielfunktion nicht als Algorithmus sondern mit Hilfe eines "physikalischen Experiments")
    • Evolvable Hardware
    • Evolutionary Robotics
    • Evolutionary Design (Flächenrekonstruktion und interaktive Evolution)
    • Optimierung mikrobieller Konsortia

15. Vorlesung: Experimentieren und Evoltionäre Algorithmen

  • Einführende Bemerkungen (etwas überspitzt):
    • Jede Interpretation und Schlussfolgerung muss eine Abschätzung des Fehlers vorausgehen.
    • Sowohl systematische als auch statistische Fehler (im Folgenden betrachtet) müssen abgeschätzt werden.
    • Eine adhoc-Abschätzung ist im Notfall auch erlaubt und besser als keine (i.d.R. :-).
    • Achtung Gefahr: Viele Begriffe der Statistik sind nicht eindeutig definiert, bspw. "box plot" oder gar "empirische Standardabweichung". Deshalb selbst bei den einfachsten Sachen auf Nummer sicher gehen und alles genau beschreiben und dokumentieren.
  • Schätzer:
    • Arithmetischer Mittelwert (für den Erwartungswert)
    • Empirische Standardabweichung (für die Standardabweichung, gleich Einheit wie arith. Mittel.)
    • Empirische Varianz (für die Varianz)
    • Standardfehler des empirischen Mittelwerts (konvergiert gegen Null mit steigender Stichprobengröße)
  • I.d.R. geben wir den Standardfehler des empirischen Mittelwerts an und plotten ihn als Fehlerbalken.
  • In der Bildunterschrift des Plots geben wir die Stichprobengröße an ("Anzahl der Läufe", "number of runs", "number of statistically independent runs").
  • Empfohlene Stichprobengröße: 25
  • Box-plots sind (i.d.R. bei kleiner Stichprobengröße) schöner, aber nicht eindeutig definiert. Also klar machen, was da eigentlich geplottet wird und genau beschreiben.

Futher Topics (for a Seminar?)

  • Mirjalili, S., Mirjalili, S. M., & Hatamlou, A. (2016). Multi-verse optimizer: a nature-inspired algorithm for global optimization. Neural Computing and Applications, 27(2), 495-513.
  • Asafuddoula, M., Ray, T., & Sarker, R. (2015). A decomposition-based evolutionary algorithm for many objective optimization. IEEE Transactions on Evolutionary Computation, 19(3), 445-460.
  • Wu, G., Mallipeddi, R., Suganthan, P. N., Wang, R., & Chen, H. (2016). Differential evolution with multi-population based ensemble of mutation strategies. Information Sciences, 329, 329-345.
  • Hellwig, M., & Beyer, H. G. (2019). Benchmarking evolutionary algorithms for single objective real-valued constrained optimization–A critical review. Swarm and evolutionary computation, 44, 927-944.
  • N. Hansen, A. Auger, O. Mersmann, T. Tusar, D. Brockhoff, COCO: a platform for comparing continuous optimizers in a black-box setting, arXiv preprint. URL https://arxiv.org/abs/1603.08785.
    • Benchmarking Platform

Literatur

Banzhaf, W., Nording, P., Keller, R.E., Francone, F.D. (1997), Genetic Programming: An Introduction: On the Automatic Evolution of Computer Programs and Its Applications, Morgan Kaufmann

Beyer, Hans-Georg, The Theory of Evolution Strategies, Springer, Berlin 2001

Beyer, H.-G., H.-P. Schwefel, Evolution strategies, Natural Computing 1:5-52, 2002

Brameier, M., W. Banzhaf, A comparison of linear genetic programming and neural networks in medical data mining. IEEE Transactions on Evolutionary Computation, vol. 5(1), pp. 17-26, (2001).

Fogel, Garry B. and David W. Corne, Evolutionary Computation in Bioinformatics, Morgan Kaufmann, Amsterdam (2003)

Gränicher, W.H. Heini, Messung beendet - was nun?, Teubner, Stuttgart (1994)

Jacob, Christian, Principia Evolvica, dpunk, Heidelberg (1997)

Fogel, David B., Evolutionary Computation . Toward a New Philosophy of Machine Intelligence,IEEE Press, New York, NY (1995)

Koza, J.R. (1992), Genetic Programming: On the Programming of Computers by Means of Natural Selection, MIT Press, Boston, MA

Press, William H., et al., Numerical Recipes in C, Cambridge University Press, Cambridge (2003)

Rechenberg, Ingo, Evolutionsstrategie'94, frommann-holzboog, Stuttgart, 1994

Schwefel, Hans-Paul, Evolution and Optimum Seeking, Wiley, New York, NY (1995)

Weicker, Karsten, Evolutionäre Algorithmen, Springer/Vieweg, Wiesbaden (2015)

Zitzler, E., Laumanns, M. Bleuer; A Tutorial on Evolutionary Multiobjective Optimization, Workshop on Multiple Objective Metaheuristics (MOMH 2002), Springer-Verlag, Berlin, Germany, (2003)

Topic revision: r46 - 2019-07-08 - PeterDittrich
 
This site is powered by the TWiki collaboration platform Powered by PerlCopyright © 2008-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding TWiki? Send feedback

antalya escort bursa escort eskisehir escort istanbul escort izmir escort