[prg191] Re: [prg191] Нейро
- From: Stepan Murashov <murashov@xxxxxx>
- To: Invader <prg191@xxxxxxxxxxxxx>
- Date: Mon, 3 Jan 2005 11:56:05 +0400
I> Как вы вообще в этом всем разбираетесь?:)
Не видишь - умные дяди беседуют, куда уж тебе :)))
I> я вообще понять не могу как, что и от чего влияет, стоит один
I> параметр поменять, как весь вывод данных не пойми как выходит.
Параметры они на то и параметры, чтобы влиять на вывод данных. В
нейросети не всегда можно предсказать, какой результат даст то или
иное значения параметра, поэтому их не _вычисляют_ а _подбирают_.
I> И вообще даже отчет написать не могу:)какие параметры надо снять для
I> отчета?
У тебя методичка есть? Там все написано. Основные параметры - график
изменения ошибок обучения и обобщения в зависимости от эпохи обучения
(ошибки должны постепенно уменьшаться - график похож на график 1/x),
а также графики соответствия результатов нейросети эталону для
обучающей и тестовой выборки в последней эпохе (по одной оси -
результат вычисления функции нейросетью, по другой - эталонный
результат, точки должны быть как можно ближе к линии y=x)
I> А что такое коэффициент обучения, как он вообще вычисляется?
Основная формула корректировки веса в алгоритме BackPropagation есть:
W(i,j,k) = W(i,j,k) + Lamda * U(j,k-1) * Delta (i,k)
Lamda и есть коэффициент обучения, у нас он задается пользователем (у
меня наилучшим оказался 0,15). W(i,j,k) вес от нейрона j слоя k-1
к нейрону i слоя k. U(j,k-1) - выходной сигнал нейрона j слоя k-1.
Delta(i,k) - сигнал ошибки из нейрона i слоя k.
Delta(i,k) = Beta * U(i,k) * (1 - U(i,k)) * Sum (Delta(j,k+1)*W(j,i,k))
Beta - коэффициент крутизны сигмоиды (задается пользователем, я
использовал 1). Обрати внимание на порядок индексов множителей,
которые нужно суммировать (сумма будет по j) - я их сначала перепутал
и поимел трудноуловимый баг.
Этого уже почти достаточно чтобы написать BackPropagation. Вычисление
значения сетью есть в методичке в виде исходника.
I> У кого есть ответы на вопросы к зачету?решил посмотреть смогу ли
I> ответить, нифига:) в книгах что есть покопался, тоже не нашел:/
I> да и в инете на эту тему искать очень муторно
Ответы на большую часть вопросов были в лекции, да и большая часть
вопросов непосредственно по лабе - когда сделаешь сам сможешь
ответить. А что у тебя за книжки? У меня Ф. Уоссермен
"Нейрокомпьютерная техника:Теория и практика", мне ее хватило чтобы
полностью сделать лабу и ответить на вопросы (в сжатом виде 800 Kb
на русском - если надо могу выслать в приват, чтобы не заставлять всех
вытягивать из рассылки).
Other related posts:
