遺伝的アルゴリズムの最小化の簡単な例


7

Pythonの遺伝的アルゴリズムアプローチを使用して関数がその最小値を達成するポイントを見つける方法の例を探していました。DEAPのドキュメントを確認しましたが、その例を理解するのは非常に困難でした。例えば:

def  function(x,y):
     return x*y+3*x-x**2

xとyの両方の初期ランダム値(同じ次元からのものではない)を供給することができる遺伝的アルゴリズムを作成する方法についての参考文献を探しています。遺伝的アルゴリズムの作成と使用の経験を持つ誰かが私にこれについていくつかのガイダンスを提供できますか?


2
この問題は微積分学を使用して分析的に解決でき、統計学習を必要としません。数値解が必要だとすると、遺伝的アルゴリズムではなく確率的勾配降下法を使用すると、より簡単に解くことができます。また、yで線形である関数を定義し、最も速くスケーリングするx項が-x ^ 2のようになっていることにも注意してください。そのため、ほとんどのパラメーター体制では、解は興味深いものではありません(xmax、ymin)。もう少し時間をかけて、より意味のある例を見つけ、SGDとGAの間で決定することをお勧めします。これが本当の遺伝的アルゴリズムの例です
AN6U5

こんにちは、実際には単なる例です。実際には、私の関数は2つの入れ子関数の組み合わせであり、ヘッシアンはありません。
gm1 2016年

しかし、確率的勾配降下法と遺伝的アルゴリズムの関係を理解し​​ていますか?そして、あなたが提供した例は非常に単純なので、2つの間に違いはありませんか?私が手に入れているのは、違いを不当に利用するためにもっと複雑な例が必要であり、したがって後者をよりよく理解することです。
AN6U5 2016年

それから一般化するために、それが先例のような些細な例が記述されている例を探していました。
gm1 2016年

回答:


6

ここに、簡単な例があります。これは、指定した多項式よりも意味のある遺伝的アルゴリズムの本質を捉えています。指定した多項式はを介して解くことができますstochastic gradient descent。これは、より簡単な最小化手法です。このため、ウィル・ラーソンによるこの優れた記事と例を代わりに提案しています。

元の記事から引用

最適化する問題の定義次に、Pythonで遺伝的アルゴリズムを使用する簡単な例をまとめます。非常に単純な問題を最適化します。合計したときにXと等しいN個の数値のリストを作成しようとします。

N = 5およびX = 200に設定すると、これらはすべて適切なソリューションになります。

lst = [40,40,40,40,40]
lst = [50,50,50,25,25]
lst = [200,0,0,0,0]

記事全体を見てください。ただし、完全なコードは次のとおりです

# Example usage
from genetic import *
target = 371
p_count = 100
i_length = 6
i_min = 0
i_max = 100
p = population(p_count, i_length, i_min, i_max)
fitness_history = [grade(p, target),]
for i in xrange(100):
    p = evolve(p, target)
    fitness_history.append(grade(p, target))

for datum in fitness_history:
   print datum
"""
from random import randint, random
from operator import add

def individual(length, min, max):
    'Create a member of the population.'
    return [ randint(min,max) for x in xrange(length) ]

def population(count, length, min, max):
    """
    Create a number of individuals (i.e. a population).

    count: the number of individuals in the population
    length: the number of values per individual
    min: the minimum possible value in an individual's list of values
    max: the maximum possible value in an individual's list of values

    """
    return [ individual(length, min, max) for x in xrange(count) ]

def fitness(individual, target):
    """
    Determine the fitness of an individual. Higher is better.

    individual: the individual to evaluate
    target: the target number individuals are aiming for
    """
    sum = reduce(add, individual, 0)
    return abs(target-sum)

def grade(pop, target):
    'Find average fitness for a population.'
    summed = reduce(add, (fitness(x, target) for x in pop))
    return summed / (len(pop) * 1.0)

def evolve(pop, target, retain=0.2, random_select=0.05, mutate=0.01):
    graded = [ (fitness(x, target), x) for x in pop]
    graded = [ x[1] for x in sorted(graded)]
    retain_length = int(len(graded)*retain)
    parents = graded[:retain_length]
    # randomly add other individuals to
    # promote genetic diversity
    for individual in graded[retain_length:]:
        if random_select > random():
            parents.append(individual)
    # mutate some individuals
    for individual in parents:
        if mutate > random():
            pos_to_mutate = randint(0, len(individual)-1)
            # this mutation is not ideal, because it
            # restricts the range of possible values,
            # but the function is unaware of the min/max
            # values used to create the individuals,
            individual[pos_to_mutate] = randint(
                min(individual), max(individual))
    # crossover parents to create children
    parents_length = len(parents)
    desired_length = len(pop) - parents_length
    children = []
    while len(children) < desired_length:
        male = randint(0, parents_length-1)
        female = randint(0, parents_length-1)
        if male != female:
            male = parents[male]
            female = parents[female]
            half = len(male) / 2
            child = male[:half] + female[half:]
            children.append(child)
    parents.extend(children)
    return parents

このアルゴリズムを使用して元の問題を解決し、stochastic grid searchまたはstochastic gradient descentを使用してソリューションを構築することも、教育学的に非常に役立つと思います。これらの3つのアルゴリズムの並置を深く理解することができます。

お役に立てれば!


1
SGDはどのように遺伝的アルゴリズムのサブセットですか?SGDは人口ベースではなく、遺伝的演算子を使用せず、遺伝的アルゴリズムは勾配ベースの最適化を使用しません。
ジェレミークロ

1
こんにちはANSU5、優れたリファレンス、それが明日の明日に入れられるのを待ってください
gm1

@JérémieClos、あなたは正しい。これを反映するために、回答を編集しました。私は上記の議論に巻き込まれ、さまざまな最適化手法のいくつかの類似点を説明しようとしました。しかし、これはおそらく解明されているよりも難読化されています。
AN6U5 2016年
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.