Нейронные компьютерные сети

Программа Neuro

В общем, поскольку у аплетов есть небольшие ограничения на работу с файлами, для онлайновой версии я оставил только функцию XOR. Ниже даю небольшое описание того, как пользоваться программой.

1. Нейронная сеть
   • Выбрать каталог - с помощью этой функции можно тестировать другие нейронные сети. Для этого нужно выбрать каталог, в котором находятся 3 файла: net.dat (файл с описанием структуры сети), educate.dat (файл с обучающей выборкой) и test.dat (файл с выборкой для тестирования).
2. Действие
   • Рандомизировать веса - присвоить весовым коэффициентам сети случайные значения из диапазона (-1..1)
   • Отмасштабировать входные данные на диапазон [0.1;0.9] - все величины входных сигналов, линейно преобразуются, т.е. преобразуются по формуле k*x+b. Для разных входов коэффициенты k и b разные. k и b выбираются таким образом, чтобы величины всех входных сигналов лежали в диапазоне [0.1;0.9].
   • 1 цикл - произвести обучение по одной выборке
   • 100 циклов - произвести обучение по 100 выборкам (если количество выборок обучения меньше 100, то будут применяться одни и те же выборки примерно в одинаковых пропорциях)
   • 10000 циклов - аналогично
   • Обучать, пока ошибка > E_max (но не больше 1000000 итераций) - для обучения применяются одни и те же выборки в равных пропорциях, цикл продолжается до тех пор, пока функция ошибки для каждой из выборок не станет меньше E_max (параметр E_max см. ниже), или же пока не закончатся 1000000 итераций обучения.
   • Обучать на худших выборках, пока ошибка > E_max (но не больше 10000 итераций) - для обучения берётся всегда та выборка, на которой сеть хуже всего обучена (т.е. та, на которой сеть выдаёт максимальную функцию ошибки), Обучение заканчивается, когда функция ошибки для каждой из выборок не станет меньше E_max (параметр E_max см. ниже), или когда пройдёт 10000 итераций обучения.
   • Найти обучающую выборку, с наибольшем значением ошибки - производится поиск той выборки из множества выборок для обучения, у которой функций ошибки максимальна.
   • Найти тестирующую выборку, с наибольшем значением ошибки - производится поиск той выборки из множества выборок для тестирования, у которой функций ошибки максимальна.
   • Тестирование - произвести тестирование на одной из выборок с выводом выходного результата и функции ошибки
3. Параметры
   • Функция активации - здесь выбирается одна из двух функций активации: сигмоид или гиперболический тангенс. Эта функция активации будет применяться во всех нейронах сети. Следует помнить, что выход сигмоида лежит в диапазоне [0;1], а выход гиперболического тангенса - в [-1;1]. Поэтому выборки для обучения и для тестирования должны быть соответствующими определённой функции.
   • Максимум для функции ошибки (E_max=0.05) - задать предельное значение для функции ошибки (формула для вычисления функции описана в лекциях)
   • Скорость обучения (η=0.1) - задать коэффициент скорости обучения (см. лекции), он должен лежать в диапазоне от 0 до 1. Чем он больще - тем быстрее скорость обучения, но тем меньше точность обучения.