ТЕОРИЯ ОПТИМИЗАЦИИ И Алгоритмов / Методы_оптимизации. Харчистов б ф методы оптимизации 2004
Методы оптимизации - Харчистов Б.Ф
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ТАГАНРОГСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Б.Ф. Харчистов
МЕТОДЫ ОПТИМИЗАЦИИ
УЧЕБНОЕ ПОСОБИЕ
УДК 519.8(075.5)
Харчистов Б.Ф. Методы оптимизации: Учебное пособие. − Таганрог:Изд-воТРТУ, 2004.− 140с.
Изложены основные понятия и теоретические положения курса «Методы оптимизации». Приведены алгоритмы, реализующие различные методы решения оптимизационных задач. Применение алгоритмов иллюстрировано решением примеров. Каждый раздел содержит задачи, снабженные ответами. В пособие включено индивидуальное задание, посвященное решению задачи формирования портфеля ценных бумаг. Также дана характеристика контрольных работ, используемых для текущего рей- тинг-контроля.Пособие предназначено для студентов специальностей 3514 и 0618, изучающих курс «Методы оптимизации», а также преподавателей, проводящих практические, индивидуальные занятия ирейтинг-контрольпо данному предмету.
Ил. 8. Библиогр.: 12 назв.
Печатается по решению редакционно-издательскогосовета Таганрогского государственного радиотехнического университета.
Рецензенты:
Кафедра математики и информатики Таганрогского института управления и экономики. В.П.Карелин, доктор технических наук, профессор, заведующий кафедрой.
Я.Е.Ромм, доктор технических наук, профессор, заведующий кафедрой информатики Таганрогского государственного педагогического института.
Харчистов Б.Ф., 2004
3
ВВЕДЕНИЕ
Настоящее учебное пособие призвано помочь студентам в изучении ряда основных методов решения оптимизационных задач, а также преподавателям при проведении практических и индивидуальных занятий по курсу «Методы оптимизации».
Всовременной литературе описано большое число методов решения оптимизационных задач, все их изложить невозможно. Поэтому в пособие включены лишь некоторые из наиболее эффективных и наиболее важных с методологической точки зрения методов.
Вразделах 1 и 2 приводятся классические методы решения оптимизационных задач, основанные на использовании дифференциального исчисления для нахождения точек экстремумов функций. В разделе 3 рассматривается одна из оптимизационных задач, обладающих специальной структурой – задача с квадратичной целевой функцией и линейными ограничениями. Разделы 4 и 5 посвящены методам одномерной минимизации, широко применяемым на практике в качестве составной части методов поиска экстремумов функций многих переменных. В разделах 6 и 7 рассматриваются численные методы безусловной оптимизации,
ав разделах 8 и 9 – численные методы условной оптимизации. Разделы 10 и 11 посвящены методам решения задач целочисленного линейного программирования.
Вкаждом разделе пособия даны краткая характеристика рассматриваемых методов, сводка рабочих формул и алгоритмы решения оптимизационных задач. Применение алгоритмов иллюстрируется решением примеров. В каждом разделе также приведены задачи, которые решаются студентами на практических занятиях или самостоятельно. Задачи снабжены ответами.
Пособие в значительной мере отражает практику преподавания предмета «Методы оптимизации» на кафедре прикладной информатики ТРТУ. Следует отметить, что в пособии отсутствует раздел, непосредственно посвященный линейному программированию, поскольку методы решения задач линейного программирования изучаются ранее в другом курсе. Однако ука-
4
занные методы используются при решении нелинейных задач с ограничениями и линейных целочисленных задач.
В пособие включено индивидуальное задание на тему «Задача выбора портфеля ценных бумаг», выполняемое по курсу «Методы оптимизации». В индивидуальном задании рассматриваются несколько моделей, оптимизирующих портфель ценных бумаг. В качестве критериев эффективности используются критерий максимизации ожидаемого дохода и критерий минимизации инвестиционного риска. Расчетная часть основана на гипотетических статистических данных о рынке ценных бумаг.
Текущий рейтинг-контрольосуществляется в форме контрольных работ. Структура работ, тип и количество заданий приведены в соответствующем разделе пособия. Конкретный вид целевых функций, функциональных и иных ограничений, а также другой числовой материал, используемый в контрольных работах, задается преподавателем.
По курсу используется следующее распределение рей-
тинга:
•5 контрольных работ (7% суммарного рейтинга за работу)
|
| − | 35% суммарного рейтинга, |
• | индивидуальное задание | − | 15% суммарного рейтинга, |
• | экзамен | − | 50% суммарного рейтинга. |
(1.1)
5
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Задача оптимизации формулируется следующим образом: заданы множество Х (допустимое множество задачи) и функцияf(x) (целевая функция), определенная наХ; требуется найти точки минимума или максимума функцииf наХ. Задача оптимизации, в которой целевая функция подлежит минимизации, имеет вид
f (x)→ min,x X.
В курсе рассматриваются задачи, допустимое множество которых лежит в евклидовом пространстве Rn.
Точка x X называется точкойглобального минимумаf(x) на множествеX, илиглобальным решением задачи (1.1), если
f (x )≤ f (x) при всехх Х.
Точка x X называется точкойлокального минимумаf(x) на множествеX, илилокальным решением задачи (1.1), если
| f (x* )≤ f (x) при всех | x X !V | (x ) , | ||||||||
|
|
|
|
|
|
|
|
|
| ε |
|
где V | (x) = {x Rn : |
|
|
| x − x |
|
|
| ≤ ε } − шар радиусаε>0 с центром в | ||
|
|
|
| ||||||||
ε |
|
|
|
|
|
|
|
|
|
|
|
точке x (ε - окрестность точкиx ).
Ясно, что глобальное решение является и локальным; обратное неверно.
Задача (1.1) называется задачей безусловной оптимизации, еслиX=Rn. На практических занятиях рассматриваются аналитические методы решения задач безусловной оптимизации, бази-
рующиеся на условиях оптимальности. Различают необходимые
условия оптимальности, т.е. условия, которым должна удовлетворять точка, являющаяся решением задачи, и достаточные условия оптимальности, т.е. условия, из которых следует, что данная точка является решением задачи.
6
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ
Для функции одной переменной условия оптимальности формулируются следующим образом.
Необходимое условие локальной оптимальности. Пусть f(x) дифференцируема в точке x R1. Если x− точка локаль-
ного оптимума (экстремума), то |
|
f ′(x )= 0. | (1.2) |
Точки, удовлетворяющие условию (1.2), называются стационарными. Стационарные точки могут быть и точками локального минимума, и точками локального максимума, и точками перегиба. Для определения характера стационарных точек используется достаточное условие локальной оптимальности.
Достаточное условие локальной оптимальности. Пусть
f (x)k раз,k>1, дифференцируема в точкеx R1, причемf ′(x )= f ′′(x )= ...= f (k −1) (x )= 0,f (k) (x )≠ 0.
Тогда, если k − четное число, тоx − точка локального минимума (максимума) приf (k ) (x )> 0 (приf (k ) (x )< 0 ). Если
k − нечетное число, тоx − точка перегиба.
Используя необходимое и достаточное условия оптимальности, находятся точки локальных экстремумов. Для определения
точек глобальных экстремумов вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x). Если
V ≡ max{limf (x), limf (x)}= +∞ ,
x→∞x→−∞
то f(x) не имеет конечного глобального максимума. Если
W ≡ min{ limf (x), | lim f (x)}= −∞ , |
x→∞ | x→−∞ |
то f(x) не имеет конечного глобального минимума.
Если f(x) имеет конечный глобальный максимум и (или) конечный глобальный минимум, то для их определения вычисляются также значенияf(x) на множестве точек локальных экстремумов. Наименьшее из полученных значений, т.е. значенийf(x) в точках локальных экстремумов и предельных значенийf(x),
7
определяет точку глобального минимума, наибольшее из полученных значений − точку глобального максимумаf(x).
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной заключается в следующем.
1. Находится f ′(x) .
2. Вычисляются корни уравнения f ′(x) =0− стационарные точкиx(i) ,i I = {1,2,...,N }, гдеN − число стационарных точек. Полагаетсяk=2.
3. Находится f (k ) (x).
4. Вычисляются значения f (k ) (x(i) ) для всехi I.
Если f (k ) (x(i) )≠ 0 , то определяется тип стационарной точкиx(i) и ее номер исключается из множестваI.
5. Проверяется условие определения типа всех стационарных точек
I= .
Если оно выполняется, то осуществляется переход к п.6. Если условие не выполняется, то полагается k=k+1 и осу-
ществляется переход к п.3.
6.Вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x).
Если f(x) не имеет конечных глобальных экстремумов, то вычисления прекращаются.
В противном случае осуществляется переход к п.7.
7.Вычисляются значения f(x) на множестве точек локальных экстремумов. По наименьшему из полученных значенийf определяется точка глобального минимума, по наибольшему из
полученных значений f − точка глобального максимума.
Пример 1. Определить точки локальных и глобальных экстремумов функцииf (x)= (1− x)3.
8
Решение.
Находим первую производную f(x):
f ′(x)= −3(1− x)2.
Вычисляем корни уравнения f ′(x)= 0 :
− 3(1−x)2 =0 →(1−x)2 =0 | → x | = |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1)
Определяем характер стационарной точки.
Находим вторую производную f(x):f ′′(x)= 6(1− x).
Вычисляем значение f ′′(x) в точкеx(1) :f ′′(x(1) = 1)= 0.
Поскольку характер стационарной точки не определен, то
находим третью производную f(x):
f ′′′(x) = −6 ≠0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть нечетное число (k=3), то точкаx=1 является точкой перегиба (I= ).
Вычисляем предельные значения f(x):
lim | f (x)= lim (1− x)3 | = {lim (1−x) }3 =(1− ∞)3 = −∞, | |
x→∞ | x→∞ | x→∞ |
|
lim | f (x)= lim (1− x)3 = {lim (1− x)}3 = (1+ ∞)3 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
Поскольку |
|
| |
| V ≡ max{lim | f (x), lim | f (x)}= +∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального максимума. | |||
Поскольку |
|
| |
| W ≡ min{ lim | f (x), lim | f (x)}= −∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального минимума.
Ответ: функцияf (x)= (1− x)3 экстремумов не имеет.Пример 2. Определить точки локальных и глобальных
9 |
|
|
экстремумов функции f (x)= (1− x)4. |
| |
Решение. |
|
|
Находим первую производную f(x): |
| |
f ′(x)= −4(1− x)3. |
| |
Вычисляем корни уравнения f ′(x)= 0 : |
| |
− 4(1−x)3 =0 →(1−x)3 =0 →x | =1. | |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1) =1. | ||
Определяем характер стационарной точки. |
| |
Находим вторую производную f(x): |
| |
f ′′(x)=12(1− x)2. |
| |
Вычисляем значение f ′′(x) | в точке x(1) : |
|
f ′′(x(1) =1) =0. |
| |
Поскольку характер стационарной точки не определен, то | ||
находим третью производную f(x): |
|
|
f ′′′(x)= −24(1− x). |
| |
Вычисляем значение f ′′′(x) | в точке x(1) : |
|
f ′′′(x(1) | = 1)= 0. |
|
Поскольку характер стационарной точки не определен, то находим четвертую производную f(x):
f (4) (x)= 24≠ 0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть четное число (k=4) иf (4) (x)> 0 , то точкаx=1 является точкой локального минимума (I= ).
Вычисляем предельные значения f(x): |
|
| ||
lim | f (x)= lim (1− x)4 | = {lim (1− x)}4 | = (1− ∞)4 | = ∞, |
x→∞ | x→∞ | x→∞ |
|
|
lim | f (x)= lim (1− x)4 | = {lim (1−x) }4 =(1+ ∞)4 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
|
Поскольку |
|
|
| |
| V ≡ max{limf | (x), limf (x)}= +∞ , |
| |
| x→∞ | x→−∞ |
|
|
10
то f(x) не имеет конечного глобального максимума. Поскольку
W ≡ min{ limf (x), | lim f (x)} = +∞ ≠ −∞, |
x→∞ | x→−∞ |
то f(x) имеет конечный глобальный минимум. Вычисляем значениеf(x) в точкеx=1:
f (x = 1)= 0.
Определяем точку глобального. минимумаf(x):
min f (x)= min{f (x = 1),W}= min{0,+ ∞ }= 0= f (x = 1).
x R1
Таким образом, точка x=1 является точкой глобального минимумаf(x).
Ответ: функция | f (x)= (1− x)4 | имеет в точке x=1 глобаль- | ||||||||||||
ный минимум. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Пример 3. Определить точки | локальных и глобальных | |||||||||||||
экстремумов функции f | (x)= | x |
|
|
|
|
|
|
|
| ||||
| . |
|
|
|
|
|
|
|
| |||||
1+x2 |
|
|
|
|
|
|
|
| ||||||
Решение. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Находим первую производную f(x): |
|
|
|
|
|
| ||||||||
|
| f ′(x) = | 1+x2 −x 2x | = | 1 | − x2 |
| . |
|
| ||||
|
|
| (1+ x2 )2 |
| (1+ x2 )2 |
|
| |||||||
|
|
|
|
|
|
|
|
|
| |||||
Вычисляем корни уравнения f ′(x)= 0 : |
|
|
|
| ||||||||||
| 1−x2 | = 0 →1−x2 = | 0 → | x |
|
| = ±1. |
| ||||||
|
|
|
|
|
| |||||||||
| (1+ x2 )2 |
|
|
|
|
|
|
| (1,2) |
|
|
| ||
Получили две стационарные точки (I = {1, 2}) : |
| |||||||||||||
|
|
|
| x(1)=1, x(2)= −1. |
|
|
|
|
| |||||
Определяем характер стационарных точек. |
|
|
|
| ||||||||||
Находим вторую производную f(x): |
|
|
|
|
|
| ||||||||
f ′′(x) = | − 2x(1+ x2 )2 − 2(1+ x2 )2x(1− x2 ) | = | 2x(x2 − 3) | . | ||||||||||
|
|
| (1+ x2 )4 |
|
|
|
| (1+ x2 )3 | ||||||
|
|
|
|
|
|
|
|
|
|
|
|
Вычисляем значение f ′′(x) в точкеx(1) :
studfiles.net
Харчистов Б.Ф. Методы оптимизации [PDF]
Учебное пособие. - Новосибирск: Изд-во НГУ, 2000 г. - 105 с. В пособии изложен математический аппарат, необходимый для анализа и решения экстремальных задач в конечномерных пространствах. Содержание: Введение Линейное программирование. Задачи нелинейного программирования. Численные методы нелинейного программирования. Целочисленное линейное программирование.
- 1,08 МБ
- дата добавления неизвестна
- изменен 19.11.2008 16:41
Учебное пособие. — Самара: Изд-во Самар. гос. аэрокосм. ун-та, 2007. — 90 с. В учебном пособии дано краткое изложение основных методов оптимизации и исследования операций. Материал пособия основан на лекциях, читаемых автором для студентов факультета «Информатика» и соответствует программам курсов «Методы оптимизации», «Теория игр и исследование операций», «Теория принятия...
- 1,73 МБ
- дата добавления неизвестна
- изменен 27.10.2010 11:19
Лекции. МАИ. 2005 г. - 57 стр. В RAR-архиве 10 лекций - 10 файлов PDF. Краткая теория + Примеры + Графики + Таблицы. Содержание: Теория оптимизации и численные методы оптимизации. . Основные понятия и определения. Пример. Построить линию уровня функции. Пример. Построить градиент функции в заданной точке. Критерий Сильвестра. Квадратичная функция двух переменных....
- 1,95 МБ
- дата добавления неизвестна
- изменен 23.11.2016 02:50
Учебное пособие. 2-е издание. — М.: Высшая школа, 2005. — 544 с. Рассмотрены аналитические методы решения задач поиска экстремума функций многих переменных на основе необходимых и достаточных условий. Изложены численные методы нулевого, первого и второго порядков решения задач безусловной минимизации, а также численные методы поиска условного экстремума. И т. д. В каждом...
- 3,09 МБ
- дата добавления неизвестна
- изменен 07.11.2016 01:56
Москва: СОЛОН-ПРЕСС, 2009.- 320 с. Эта книга для всех, кто, не имея специального математического образования, хочет узнать, как применять методы оптимизации для решения практических задач. В ней рассматриваются задачи оптимизации из различных сфер деятельности: экономика, финансы, техника, проектирование, строительство и др., излагаются теоретические основы методов оптимизации...
- 54,69 МБ
- добавлен 05.07.2012 09:13
- изменен 06.07.2012 23:36
Учебное пособие. — 2 изд. — М.: ФИЗМАТЛИТ, 2005. — 368 с. Книга написана на основе курсов лекций по оптимизации, которые на протяжении ряда лет читались авторами на факультете вычислительной математики и кибернетики МГУ. Введение в оптимизацию. Методы одномерной оптимизации. Основы выпуклого анализа. Теория необходимых и достаточных условий оптимальности. Численные...
- 2,89 МБ
- дата добавления неизвестна
- изменен 25.10.2016 14:01
www.twirpx.com
Методы оптимизации - УП - Харчистов - 2004
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ТАГАНРОГСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Б.Ф. Харчистов
МЕТОДЫ ОПТИМИЗАЦИИ
УЧЕБНОЕ ПОСОБИЕ
УДК 519.8(075.5)
Харчистов Б.Ф. Методы оптимизации: Учебное пособие. − Таганрог:Изд-воТРТУ, 2004.− 140с.
Изложены основные понятия и теоретические положения курса «Методы оптимизации». Приведены алгоритмы, реализующие различные методы решения оптимизационных задач. Применение алгоритмов иллюстрировано решением примеров. Каждый раздел содержит задачи, снабженные ответами. В пособие включено индивидуальное задание, посвященное решению задачи формирования портфеля ценных бумаг. Также дана характеристика контрольных работ, используемых для текущего рей- тинг-контроля.Пособие предназначено для студентов специальностей 3514 и 0618, изучающих курс «Методы оптимизации», а также преподавателей, проводящих практические, индивидуальные занятия ирейтинг-контрольпо данному предмету.
Ил. 8. Библиогр.: 12 назв.
Печатается по решению редакционно-издательскогосовета Таганрогского государственного радиотехнического университета.
Рецензенты:
Кафедра математики и информатики Таганрогского института управления и экономики. В.П.Карелин, доктор технических наук, профессор, заведующий кафедрой.
Я.Е.Ромм, доктор технических наук, профессор, заведующий кафедрой информатики Таганрогского государственного педагогического института.
Харчистов Б.Ф., 2004
3
ВВЕДЕНИЕ
Настоящее учебное пособие призвано помочь студентам в изучении ряда основных методов решения оптимизационных задач, а также преподавателям при проведении практических и индивидуальных занятий по курсу «Методы оптимизации».
Всовременной литературе описано большое число методов решения оптимизационных задач, все их изложить невозможно. Поэтому в пособие включены лишь некоторые из наиболее эффективных и наиболее важных с методологической точки зрения методов.
Вразделах 1 и 2 приводятся классические методы решения оптимизационных задач, основанные на использовании дифференциального исчисления для нахождения точек экстремумов функций. В разделе 3 рассматривается одна из оптимизационных задач, обладающих специальной структурой – задача с квадратичной целевой функцией и линейными ограничениями. Разделы 4 и 5 посвящены методам одномерной минимизации, широко применяемым на практике в качестве составной части методов поиска экстремумов функций многих переменных. В разделах 6 и 7 рассматриваются численные методы безусловной оптимизации,
ав разделах 8 и 9 – численные методы условной оптимизации. Разделы 10 и 11 посвящены методам решения задач целочисленного линейного программирования.
Вкаждом разделе пособия даны краткая характеристика рассматриваемых методов, сводка рабочих формул и алгоритмы решения оптимизационных задач. Применение алгоритмов иллюстрируется решением примеров. В каждом разделе также приведены задачи, которые решаются студентами на практических занятиях или самостоятельно. Задачи снабжены ответами.
Пособие в значительной мере отражает практику преподавания предмета «Методы оптимизации» на кафедре прикладной информатики ТРТУ. Следует отметить, что в пособии отсутствует раздел, непосредственно посвященный линейному программированию, поскольку методы решения задач линейного программирования изучаются ранее в другом курсе. Однако ука-
4
занные методы используются при решении нелинейных задач с ограничениями и линейных целочисленных задач.
В пособие включено индивидуальное задание на тему «Задача выбора портфеля ценных бумаг», выполняемое по курсу «Методы оптимизации». В индивидуальном задании рассматриваются несколько моделей, оптимизирующих портфель ценных бумаг. В качестве критериев эффективности используются критерий максимизации ожидаемого дохода и критерий минимизации инвестиционного риска. Расчетная часть основана на гипотетических статистических данных о рынке ценных бумаг.
Текущий рейтинг-контрольосуществляется в форме контрольных работ. Структура работ, тип и количество заданий приведены в соответствующем разделе пособия. Конкретный вид целевых функций, функциональных и иных ограничений, а также другой числовой материал, используемый в контрольных работах, задается преподавателем.
По курсу используется следующее распределение рей-
тинга:
•5 контрольных работ (7% суммарного рейтинга за работу)
|
| − | 35% суммарного рейтинга, |
• | индивидуальное задание | − | 15% суммарного рейтинга, |
• | экзамен | − | 50% суммарного рейтинга. |
(1.1)
5
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Задача оптимизации формулируется следующим образом: заданы множество Х (допустимое множество задачи) и функцияf(x) (целевая функция), определенная наХ; требуется найти точки минимума или максимума функцииf наХ. Задача оптимизации, в которой целевая функция подлежит минимизации, имеет вид
f (x)→ min,x X.
В курсе рассматриваются задачи, допустимое множество которых лежит в евклидовом пространстве Rn.
Точка x X называется точкойглобального минимумаf(x) на множествеX, илиглобальным решением задачи (1.1), если
f (x )≤ f (x) при всехх Х.
Точка x X называется точкойлокального минимумаf(x) на множествеX, илилокальным решением задачи (1.1), если
| f (x* )≤ f (x) при всех | x X !V | (x ) , | ||||||||
|
|
|
|
|
|
|
|
|
| ε |
|
где V | (x) = {x Rn : |
|
|
| x − x |
|
|
| ≤ ε } − шар радиусаε>0 с центром в | ||
|
|
|
| ||||||||
ε |
|
|
|
|
|
|
|
|
|
|
|
точке x (ε - окрестность точкиx ).
Ясно, что глобальное решение является и локальным; обратное неверно.
Задача (1.1) называется задачей безусловной оптимизации, еслиX=Rn. На практических занятиях рассматриваются аналитические методы решения задач безусловной оптимизации, бази-
рующиеся на условиях оптимальности. Различают необходимые
условия оптимальности, т.е. условия, которым должна удовлетворять точка, являющаяся решением задачи, и достаточные условия оптимальности, т.е. условия, из которых следует, что данная точка является решением задачи.
6
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ
Для функции одной переменной условия оптимальности формулируются следующим образом.
Необходимое условие локальной оптимальности. Пусть f(x) дифференцируема в точке x R1. Если x− точка локаль-
ного оптимума (экстремума), то |
|
f ′(x )= 0. | (1.2) |
Точки, удовлетворяющие условию (1.2), называются стационарными. Стационарные точки могут быть и точками локального минимума, и точками локального максимума, и точками перегиба. Для определения характера стационарных точек используется достаточное условие локальной оптимальности.
Достаточное условие локальной оптимальности. Пусть
f (x)k раз,k>1, дифференцируема в точкеx R1, причемf ′(x )= f ′′(x )= ...= f (k −1) (x )= 0,f (k) (x )≠ 0.
Тогда, если k − четное число, тоx − точка локального минимума (максимума) приf (k ) (x )> 0 (приf (k ) (x )< 0 ). Если
k − нечетное число, тоx − точка перегиба.
Используя необходимое и достаточное условия оптимальности, находятся точки локальных экстремумов. Для определения
точек глобальных экстремумов вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x). Если
V ≡ max{limf (x), limf (x)}= +∞ ,
x→∞x→−∞
то f(x) не имеет конечного глобального максимума. Если
W ≡ min{ limf (x), | lim f (x)}= −∞ , |
x→∞ | x→−∞ |
то f(x) не имеет конечного глобального минимума.
Если f(x) имеет конечный глобальный максимум и (или) конечный глобальный минимум, то для их определения вычисляются также значенияf(x) на множестве точек локальных экстремумов. Наименьшее из полученных значений, т.е. значенийf(x) в точках локальных экстремумов и предельных значенийf(x),
7
определяет точку глобального минимума, наибольшее из полученных значений − точку глобального максимумаf(x).
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной заключается в следующем.
1. Находится f ′(x) .
2. Вычисляются корни уравнения f ′(x) =0− стационарные точкиx(i) ,i I = {1,2,...,N }, гдеN − число стационарных точек. Полагаетсяk=2.
3. Находится f (k ) (x).
4. Вычисляются значения f (k ) (x(i) ) для всехi I.
Если f (k ) (x(i) )≠ 0 , то определяется тип стационарной точкиx(i) и ее номер исключается из множестваI.
5. Проверяется условие определения типа всех стационарных точек
I= .
Если оно выполняется, то осуществляется переход к п.6. Если условие не выполняется, то полагается k=k+1 и осу-
ществляется переход к п.3.
6.Вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x).
Если f(x) не имеет конечных глобальных экстремумов, то вычисления прекращаются.
В противном случае осуществляется переход к п.7.
7.Вычисляются значения f(x) на множестве точек локальных экстремумов. По наименьшему из полученных значенийf определяется точка глобального минимума, по наибольшему из
полученных значений f − точка глобального максимума.
Пример 1. Определить точки локальных и глобальных экстремумов функцииf (x)= (1− x)3.
8
Решение.
Находим первую производную f(x):
f ′(x)= −3(1− x)2.
Вычисляем корни уравнения f ′(x)= 0 :
− 3(1−x)2 =0 →(1−x)2 =0 | → x | = |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1)
Определяем характер стационарной точки.
Находим вторую производную f(x):f ′′(x)= 6(1− x).
Вычисляем значение f ′′(x) в точкеx(1) :f ′′(x(1) = 1)= 0.
Поскольку характер стационарной точки не определен, то
находим третью производную f(x):
f ′′′(x) = −6 ≠0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть нечетное число (k=3), то точкаx=1 является точкой перегиба (I= ).
Вычисляем предельные значения f(x):
lim | f (x)= lim (1− x)3 | = {lim (1−x) }3 =(1− ∞)3 = −∞, | |
x→∞ | x→∞ | x→∞ |
|
lim | f (x)= lim (1− x)3 = {lim (1− x)}3 = (1+ ∞)3 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
Поскольку |
|
| |
| V ≡ max{lim | f (x), lim | f (x)}= +∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального максимума. | |||
Поскольку |
|
| |
| W ≡ min{ lim | f (x), lim | f (x)}= −∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального минимума.
Ответ: функцияf (x)= (1− x)3 экстремумов не имеет.Пример 2. Определить точки локальных и глобальных
9 |
|
|
экстремумов функции f (x)= (1− x)4. |
| |
Решение. |
|
|
Находим первую производную f(x): |
| |
f ′(x)= −4(1− x)3. |
| |
Вычисляем корни уравнения f ′(x)= 0 : |
| |
− 4(1−x)3 =0 →(1−x)3 =0 →x | =1. | |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1) =1. | ||
Определяем характер стационарной точки. |
| |
Находим вторую производную f(x): |
| |
f ′′(x)=12(1− x)2. |
| |
Вычисляем значение f ′′(x) | в точке x(1) : |
|
f ′′(x(1) =1) =0. |
| |
Поскольку характер стационарной точки не определен, то | ||
находим третью производную f(x): |
|
|
f ′′′(x)= −24(1− x). |
| |
Вычисляем значение f ′′′(x) | в точке x(1) : |
|
f ′′′(x(1) | = 1)= 0. |
|
Поскольку характер стационарной точки не определен, то находим четвертую производную f(x):
f (4) (x)= 24≠ 0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть четное число (k=4) иf (4) (x)> 0 , то точкаx=1 является точкой локального минимума (I= ).
Вычисляем предельные значения f(x): |
|
| ||
lim | f (x)= lim (1− x)4 | = {lim (1− x)}4 | = (1− ∞)4 | = ∞, |
x→∞ | x→∞ | x→∞ |
|
|
lim | f (x)= lim (1− x)4 | = {lim (1−x) }4 =(1+ ∞)4 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
|
Поскольку |
|
|
| |
| V ≡ max{limf | (x), limf (x)}= +∞ , |
| |
| x→∞ | x→−∞ |
|
|
10
то f(x) не имеет конечного глобального максимума. Поскольку
W ≡ min{ limf (x), | lim f (x)} = +∞ ≠ −∞, |
x→∞ | x→−∞ |
то f(x) имеет конечный глобальный минимум. Вычисляем значениеf(x) в точкеx=1:
f (x = 1)= 0.
Определяем точку глобального. минимумаf(x):
min f (x)= min{f (x = 1),W}= min{0,+ ∞ }= 0= f (x = 1).
x R1
Таким образом, точка x=1 является точкой глобального минимумаf(x).
Ответ: функция | f (x)= (1− x)4 | имеет в точке x=1 глобаль- | ||||||||||||
ный минимум. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Пример 3. Определить точки | локальных и глобальных | |||||||||||||
экстремумов функции f | (x)= | x |
|
|
|
|
|
|
|
| ||||
| . |
|
|
|
|
|
|
|
| |||||
1+x2 |
|
|
|
|
|
|
|
| ||||||
Решение. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Находим первую производную f(x): |
|
|
|
|
|
| ||||||||
|
| f ′(x) = | 1+x2 −x 2x | = | 1 | − x2 |
| . |
|
| ||||
|
|
| (1+ x2 )2 |
| (1+ x2 )2 |
|
| |||||||
|
|
|
|
|
|
|
|
|
| |||||
Вычисляем корни уравнения f ′(x)= 0 : |
|
|
|
| ||||||||||
| 1−x2 | = 0 →1−x2 = | 0 → | x |
|
| = ±1. |
| ||||||
|
|
|
|
|
| |||||||||
| (1+ x2 )2 |
|
|
|
|
|
|
| (1,2) |
|
|
| ||
Получили две стационарные точки (I = {1, 2}) : |
| |||||||||||||
|
|
|
| x(1)=1, x(2)= −1. |
|
|
|
|
| |||||
Определяем характер стационарных точек. |
|
|
|
| ||||||||||
Находим вторую производную f(x): |
|
|
|
|
|
| ||||||||
f ′′(x) = | − 2x(1+ x2 )2 − 2(1+ x2 )2x(1− x2 ) | = | 2x(x2 − 3) | . | ||||||||||
|
|
| (1+ x2 )4 |
|
|
|
| (1+ x2 )3 | ||||||
|
|
|
|
|
|
|
|
|
|
|
|
Вычисляем значение f ′′(x) в точкеx(1) :
studfiles.net
Методы_оптимизации
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ТАГАНРОГСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Б.Ф. Харчистов
МЕТОДЫ ОПТИМИЗАЦИИ
УЧЕБНОЕ ПОСОБИЕ
УДК 519.8(075.5)
Харчистов Б.Ф. Методы оптимизации: Учебное пособие. − Таганрог:Изд-воТРТУ, 2004.− 140с.
Изложены основные понятия и теоретические положения курса «Методы оптимизации». Приведены алгоритмы, реализующие различные методы решения оптимизационных задач. Применение алгоритмов иллюстрировано решением примеров. Каждый раздел содержит задачи, снабженные ответами. В пособие включено индивидуальное задание, посвященное решению задачи формирования портфеля ценных бумаг. Также дана характеристика контрольных работ, используемых для текущего рей- тинг-контроля.Пособие предназначено для студентов специальностей 3514 и 0618, изучающих курс «Методы оптимизации», а также преподавателей, проводящих практические, индивидуальные занятия ирейтинг-контрольпо данному предмету.
Ил. 8. Библиогр.: 12 назв.
Печатается по решению редакционно-издательскогосовета Таганрогского государственного радиотехнического университета.
Рецензенты:
Кафедра математики и информатики Таганрогского института управления и экономики. В.П.Карелин, доктор технических наук, профессор, заведующий кафедрой.
Я.Е.Ромм, доктор технических наук, профессор, заведующий кафедрой информатики Таганрогского государственного педагогического института.
Харчистов Б.Ф., 2004
3
ВВЕДЕНИЕ
Настоящее учебное пособие призвано помочь студентам в изучении ряда основных методов решения оптимизационных задач, а также преподавателям при проведении практических и индивидуальных занятий по курсу «Методы оптимизации».
Всовременной литературе описано большое число методов решения оптимизационных задач, все их изложить невозможно. Поэтому в пособие включены лишь некоторые из наиболее эффективных и наиболее важных с методологической точки зрения методов.
Вразделах 1 и 2 приводятся классические методы решения оптимизационных задач, основанные на использовании дифференциального исчисления для нахождения точек экстремумов функций. В разделе 3 рассматривается одна из оптимизационных задач, обладающих специальной структурой – задача с квадратичной целевой функцией и линейными ограничениями. Разделы 4 и 5 посвящены методам одномерной минимизации, широко применяемым на практике в качестве составной части методов поиска экстремумов функций многих переменных. В разделах 6 и 7 рассматриваются численные методы безусловной оптимизации,
ав разделах 8 и 9 – численные методы условной оптимизации. Разделы 10 и 11 посвящены методам решения задач целочисленного линейного программирования.
Вкаждом разделе пособия даны краткая характеристика рассматриваемых методов, сводка рабочих формул и алгоритмы решения оптимизационных задач. Применение алгоритмов иллюстрируется решением примеров. В каждом разделе также приведены задачи, которые решаются студентами на практических занятиях или самостоятельно. Задачи снабжены ответами.
Пособие в значительной мере отражает практику преподавания предмета «Методы оптимизации» на кафедре прикладной информатики ТРТУ. Следует отметить, что в пособии отсутствует раздел, непосредственно посвященный линейному программированию, поскольку методы решения задач линейного программирования изучаются ранее в другом курсе. Однако ука-
4
занные методы используются при решении нелинейных задач с ограничениями и линейных целочисленных задач.
В пособие включено индивидуальное задание на тему «Задача выбора портфеля ценных бумаг», выполняемое по курсу «Методы оптимизации». В индивидуальном задании рассматриваются несколько моделей, оптимизирующих портфель ценных бумаг. В качестве критериев эффективности используются критерий максимизации ожидаемого дохода и критерий минимизации инвестиционного риска. Расчетная часть основана на гипотетических статистических данных о рынке ценных бумаг.
Текущий рейтинг-контрольосуществляется в форме контрольных работ. Структура работ, тип и количество заданий приведены в соответствующем разделе пособия. Конкретный вид целевых функций, функциональных и иных ограничений, а также другой числовой материал, используемый в контрольных работах, задается преподавателем.
По курсу используется следующее распределение рей-
тинга:
•5 контрольных работ (7% суммарного рейтинга за работу)
|
| − | 35% суммарного рейтинга, |
• | индивидуальное задание | − | 15% суммарного рейтинга, |
• | экзамен | − | 50% суммарного рейтинга. |
(1.1)
5
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Задача оптимизации формулируется следующим образом: заданы множество Х (допустимое множество задачи) и функцияf(x) (целевая функция), определенная наХ; требуется найти точки минимума или максимума функцииf наХ. Задача оптимизации, в которой целевая функция подлежит минимизации, имеет вид
f (x)→ min,x X.
В курсе рассматриваются задачи, допустимое множество которых лежит в евклидовом пространстве Rn.
Точка x X называется точкойглобального минимумаf(x) на множествеX, илиглобальным решением задачи (1.1), если
f (x )≤ f (x) при всехх Х.
Точка x X называется точкойлокального минимумаf(x) на множествеX, илилокальным решением задачи (1.1), если
| f (x* )≤ f (x) при всех | x X !V | (x ) , | ||||||||
|
|
|
|
|
|
|
|
|
| ε |
|
где V | (x) = {x Rn : |
|
|
| x − x |
|
|
| ≤ ε } − шар радиусаε>0 с центром в | ||
|
|
|
| ||||||||
ε |
|
|
|
|
|
|
|
|
|
|
|
точке x (ε - окрестность точкиx ).
Ясно, что глобальное решение является и локальным; обратное неверно.
Задача (1.1) называется задачей безусловной оптимизации, еслиX=Rn. На практических занятиях рассматриваются аналитические методы решения задач безусловной оптимизации, бази-
рующиеся на условиях оптимальности. Различают необходимые
условия оптимальности, т.е. условия, которым должна удовлетворять точка, являющаяся решением задачи, и достаточные условия оптимальности, т.е. условия, из которых следует, что данная точка является решением задачи.
6
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ
Для функции одной переменной условия оптимальности формулируются следующим образом.
Необходимое условие локальной оптимальности. Пусть f(x) дифференцируема в точке x R1. Если x− точка локаль-
ного оптимума (экстремума), то |
|
f ′(x )= 0. | (1.2) |
Точки, удовлетворяющие условию (1.2), называются стационарными. Стационарные точки могут быть и точками локального минимума, и точками локального максимума, и точками перегиба. Для определения характера стационарных точек используется достаточное условие локальной оптимальности.
Достаточное условие локальной оптимальности. Пусть
f (x)k раз,k>1, дифференцируема в точкеx R1, причемf ′(x )= f ′′(x )= ...= f (k −1) (x )= 0,f (k) (x )≠ 0.
Тогда, если k − четное число, тоx − точка локального минимума (максимума) приf (k ) (x )> 0 (приf (k ) (x )< 0 ). Если
k − нечетное число, тоx − точка перегиба.
Используя необходимое и достаточное условия оптимальности, находятся точки локальных экстремумов. Для определения
точек глобальных экстремумов вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x). Если
V ≡ max{limf (x), limf (x)}= +∞ ,
x→∞x→−∞
то f(x) не имеет конечного глобального максимума. Если
W ≡ min{ limf (x), | lim f (x)}= −∞ , |
x→∞ | x→−∞ |
то f(x) не имеет конечного глобального минимума.
Если f(x) имеет конечный глобальный максимум и (или) конечный глобальный минимум, то для их определения вычисляются также значенияf(x) на множестве точек локальных экстремумов. Наименьшее из полученных значений, т.е. значенийf(x) в точках локальных экстремумов и предельных значенийf(x),
7
определяет точку глобального минимума, наибольшее из полученных значений − точку глобального максимумаf(x).
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной заключается в следующем.
1. Находится f ′(x) .
2. Вычисляются корни уравнения f ′(x) =0− стационарные точкиx(i) ,i I = {1,2,...,N }, гдеN − число стационарных точек. Полагаетсяk=2.
3. Находится f (k ) (x).
4. Вычисляются значения f (k ) (x(i) ) для всехi I.
Если f (k ) (x(i) )≠ 0 , то определяется тип стационарной точкиx(i) и ее номер исключается из множестваI.
5. Проверяется условие определения типа всех стационарных точек
I= .
Если оно выполняется, то осуществляется переход к п.6. Если условие не выполняется, то полагается k=k+1 и осу-
ществляется переход к п.3.
6.Вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x).
Если f(x) не имеет конечных глобальных экстремумов, то вычисления прекращаются.
В противном случае осуществляется переход к п.7.
7.Вычисляются значения f(x) на множестве точек локальных экстремумов. По наименьшему из полученных значенийf определяется точка глобального минимума, по наибольшему из
полученных значений f − точка глобального максимума.
Пример 1. Определить точки локальных и глобальных экстремумов функцииf (x)= (1− x)3.
8
Решение.
Находим первую производную f(x):
f ′(x)= −3(1− x)2.
Вычисляем корни уравнения f ′(x)= 0 :
− 3(1−x)2 =0 →(1−x)2 =0 | → x | = |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1)
Определяем характер стационарной точки.
Находим вторую производную f(x):f ′′(x)= 6(1− x).
Вычисляем значение f ′′(x) в точкеx(1) :f ′′(x(1) = 1)= 0.
Поскольку характер стационарной точки не определен, то
находим третью производную f(x):
f ′′′(x) = −6 ≠0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть нечетное число (k=3), то точкаx=1 является точкой перегиба (I= ).
Вычисляем предельные значения f(x):
lim | f (x)= lim (1− x)3 | = {lim (1−x) }3 =(1− ∞)3 = −∞, | |
x→∞ | x→∞ | x→∞ |
|
lim | f (x)= lim (1− x)3 = {lim (1− x)}3 = (1+ ∞)3 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
Поскольку |
|
| |
| V ≡ max{lim | f (x), lim | f (x)}= +∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального максимума. | |||
Поскольку |
|
| |
| W ≡ min{ lim | f (x), lim | f (x)}= −∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального минимума.
Ответ: функцияf (x)= (1− x)3 экстремумов не имеет.Пример 2. Определить точки локальных и глобальных
9 |
|
|
экстремумов функции f (x)= (1− x)4. |
| |
Решение. |
|
|
Находим первую производную f(x): |
| |
f ′(x)= −4(1− x)3. |
| |
Вычисляем корни уравнения f ′(x)= 0 : |
| |
− 4(1−x)3 =0 →(1−x)3 =0 →x | =1. | |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1) =1. | ||
Определяем характер стационарной точки. |
| |
Находим вторую производную f(x): |
| |
f ′′(x)=12(1− x)2. |
| |
Вычисляем значение f ′′(x) | в точке x(1) : |
|
f ′′(x(1) =1) =0. |
| |
Поскольку характер стационарной точки не определен, то | ||
находим третью производную f(x): |
|
|
f ′′′(x)= −24(1− x). |
| |
Вычисляем значение f ′′′(x) | в точке x(1) : |
|
f ′′′(x(1) | = 1)= 0. |
|
Поскольку характер стационарной точки не определен, то находим четвертую производную f(x):
f (4) (x)= 24≠ 0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть четное число (k=4) иf (4) (x)> 0 , то точкаx=1 является точкой локального минимума (I= ).
Вычисляем предельные значения f(x): |
|
| ||
lim | f (x)= lim (1− x)4 | = {lim (1− x)}4 | = (1− ∞)4 | = ∞, |
x→∞ | x→∞ | x→∞ |
|
|
lim | f (x)= lim (1− x)4 | = {lim (1−x) }4 =(1+ ∞)4 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
|
Поскольку |
|
|
| |
| V ≡ max{limf | (x), limf (x)}= +∞ , |
| |
| x→∞ | x→−∞ |
|
|
10
то f(x) не имеет конечного глобального максимума. Поскольку
W ≡ min{ limf (x), | lim f (x)} = +∞ ≠ −∞, |
x→∞ | x→−∞ |
то f(x) имеет конечный глобальный минимум. Вычисляем значениеf(x) в точкеx=1:
f (x = 1)= 0.
Определяем точку глобального. минимумаf(x):
min f (x)= min{f (x = 1),W}= min{0,+ ∞ }= 0= f (x = 1).
x R1
Таким образом, точка x=1 является точкой глобального минимумаf(x).
Ответ: функция | f (x)= (1− x)4 | имеет в точке x=1 глобаль- | ||||||||||||
ный минимум. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Пример 3. Определить точки | локальных и глобальных | |||||||||||||
экстремумов функции f | (x)= | x |
|
|
|
|
|
|
|
| ||||
| . |
|
|
|
|
|
|
|
| |||||
1+x2 |
|
|
|
|
|
|
|
| ||||||
Решение. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Находим первую производную f(x): |
|
|
|
|
|
| ||||||||
|
| f ′(x) = | 1+x2 −x 2x | = | 1 | − x2 |
| . |
|
| ||||
|
|
| (1+ x2 )2 |
| (1+ x2 )2 |
|
| |||||||
|
|
|
|
|
|
|
|
|
| |||||
Вычисляем корни уравнения f ′(x)= 0 : |
|
|
|
| ||||||||||
| 1−x2 | = 0 →1−x2 = | 0 → | x |
|
| = ±1. |
| ||||||
|
|
|
|
|
| |||||||||
| (1+ x2 )2 |
|
|
|
|
|
|
| (1,2) |
|
|
| ||
Получили две стационарные точки (I = {1, 2}) : |
| |||||||||||||
|
|
|
| x(1)=1, x(2)= −1. |
|
|
|
|
| |||||
Определяем характер стационарных точек. |
|
|
|
| ||||||||||
Находим вторую производную f(x): |
|
|
|
|
|
| ||||||||
f ′′(x) = | − 2x(1+ x2 )2 − 2(1+ x2 )2x(1− x2 ) | = | 2x(x2 − 3) | . | ||||||||||
|
|
| (1+ x2 )4 |
|
|
|
| (1+ x2 )3 | ||||||
|
|
|
|
|
|
|
|
|
|
|
|
Вычисляем значение f ′′(x) в точкеx(1) :
studfiles.net
ВВЕДЕНИЕ |
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ |
ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ |
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности. |
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной |
1.2. функция многих переменных |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности |
критерий Сильвестра |
Задачи |
2. ЗАДАЧА УСЛОВНОЙ ОПТИМИЗАЦИИ |
ЗАДАЧА УСЛОВНОЙ ОПТИМИЗАЦИИ |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности |
3. КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ |
КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ |
Задачи |
4. ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ (МИНИМИЗАЦИИ) УНИМОДАЛЬНЫХ ФУНКЦИЙ |
Унимодальныe функции |
4.1. пассивный метод поиска минимума |
4.2. активные методы поиска минимума |
Метод дихотомии (половинного деления) |
Метод Фибоначчи |
Метод золотого сечения |
Задачи |
5. ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ МНОГОЭКСТРЕМАЛЬНЫХ ФУНКЦИЙ |
ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ МНОГОЭКС-ТРЕМАЛЬНЫХ ФУНКЦИЙ |
Задачи |
6. ГРАДИЕНТНЫЕ МЕТОДЫ |
ГРАДИЕНТНЫЕ МЕТОДЫ |
Метод с дроблением шага |
Метод наискорейшего спуска |
Задачи |
7. МЕТОД НЬЮТОНА |
МЕТОД НЬЮТОНА |
Задачи |
8. МЕТОД АППРОКСИМИРУЮЩЕГО ПРОГРАММИРОВАНИЯ |
МЕТОД АППРОКСИМИРУЮЩЕГО ПРОГРАММИРОВАНИЯ |
Первый этап (первая итерация) |
Второй этап (вторая итерация) |
Задачи |
9. МЕТОД ШТРАФНЫХ ФУНКЦИЙ |
МЕТОД ШТРАФНЫХ ФУНКЦИЙ |
методы внут-ренней точки |
методы внешней точки |
Задачи |
10. МЕТОДЫ ОТСЕЧЕНИЙ |
МЕТОДЫ ОТСЕЧЕНИЙ |
Задачи |
11. МЕТОД ВЕТВЕЙ И ГРАНИЦ |
МЕТОД ВЕТВЕЙ И ГРАНИЦ |
Задачи |
ИНДИВИДУАЛЬНЫЕ ЗАДАНИЯ ЗАДАЧА ВЫБОРА ПОРТФЕЛЯ ЦЕННЫХ БУМАГ |
1. ОПИСАНИЕ ЗАДАЧИ |
Модель 1. Максимизация ожидаемого дохода при ограничении на общий объем инвестиций. |
Модель 2. Максимизация ожидаемого дохода при ограничениях, определяемых политикой фирмы. |
Модель 3. Минимизация инвестиционного риска при заданном среднем доходе. |
2. ВАРИАНТЫ ЗАДАНИЙ |
3. ЗАДАНИЕ |
4. КОНТРОЛЬНЫЕ ВОПРОСЫ |
5. ТРЕБОВАНИЯ К ОФОРМЛЕНИЮ ПОЯСНИТЕЛЬНОЙ ЗАПИСКИ |
КОНТРОЛЬНЫЕ РАБОТЫ |
ОТВЕТЫ |
1. Задача безусловной оптимизации |
2. Задача условной оптимизации |
3. Квадратичное программирование |
4. Численные методы минимизации унимодальных функций |
5. Численные методы оптимизации многоэкстремальных функций |
6. Градиентные методы |
7. Метод Ньютона |
8. Метод аппроксимирующего программирования |
9. Метод штрафных функций |
10. Метод отсечений |
11. Метод ветвей и границ |
БИБЛИОГРАФИЧЕСКИЙ СПИСОК |
Оптимизация: |
|
geum.ru
ВВЕДЕНИЕ |
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ |
ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ |
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности. |
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной |
1.2. функция многих переменных |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности |
критерий Сильвестра |
Задачи |
2. ЗАДАЧА УСЛОВНОЙ ОПТИМИЗАЦИИ |
ЗАДАЧА УСЛОВНОЙ ОПТИМИЗАЦИИ |
Необходимое условие локальной оптимальности. |
Достаточное условие локальной оптимальности |
3. КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ |
КВАДРАТИЧНОЕ ПРОГРАММИРОВАНИЕ |
Задачи |
4. ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ (МИНИМИЗАЦИИ) УНИМОДАЛЬНЫХ ФУНКЦИЙ |
Унимодальныe функции |
4.1. пассивный метод поиска минимума |
4.2. активные методы поиска минимума |
Метод дихотомии (половинного деления) |
Метод Фибоначчи |
Метод золотого сечения |
Задачи |
5. ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ МНОГОЭКСТРЕМАЛЬНЫХ ФУНКЦИЙ |
ЧИСЛЕННЫЕ МЕТОДЫ ОПТИМИЗАЦИИ МНОГОЭКС-ТРЕМАЛЬНЫХ ФУНКЦИЙ |
Задачи |
6. ГРАДИЕНТНЫЕ МЕТОДЫ |
ГРАДИЕНТНЫЕ МЕТОДЫ |
Метод с дроблением шага |
Метод наискорейшего спуска |
Задачи |
7. МЕТОД НЬЮТОНА |
МЕТОД НЬЮТОНА |
Задачи |
8. МЕТОД АППРОКСИМИРУЮЩЕГО ПРОГРАММИРОВАНИЯ |
МЕТОД АППРОКСИМИРУЮЩЕГО ПРОГРАММИРОВАНИЯ |
Первый этап (первая итерация) |
Второй этап (вторая итерация) |
Задачи |
9. МЕТОД ШТРАФНЫХ ФУНКЦИЙ |
МЕТОД ШТРАФНЫХ ФУНКЦИЙ |
методы внут-ренней точки |
методы внешней точки |
Задачи |
10. МЕТОДЫ ОТСЕЧЕНИЙ |
МЕТОДЫ ОТСЕЧЕНИЙ |
Задачи |
11. МЕТОД ВЕТВЕЙ И ГРАНИЦ |
МЕТОД ВЕТВЕЙ И ГРАНИЦ |
Задачи |
ИНДИВИДУАЛЬНЫЕ ЗАДАНИЯ «ЗАДАЧА ВЫБОРА ПОРТФЕЛЯ ЦЕННЫХ БУМАГ» |
1. ОПИСАНИЕ ЗАДАЧИ |
Модель 1. Максимизация ожидаемого дохода при ограничении на общий объем инвестиций. |
Модель 2. Максимизация ожидаемого дохода при ограничениях, определяемых политикой фирмы. |
Модель 3. Минимизация инвестиционного риска при заданном среднем доходе. |
2. ВАРИАНТЫ ЗАДАНИЙ |
3. ЗАДАНИЕ |
4. КОНТРОЛЬНЫЕ ВОПРОСЫ |
5. ТРЕБОВАНИЯ К ОФОРМЛЕНИЮ ПОЯСНИТЕЛЬНОЙ ЗАПИСКИ |
КОНТРОЛЬНЫЕ РАБОТЫ |
ОТВЕТЫ |
1. Задача безусловной оптимизации |
2. Задача условной оптимизации |
3. Квадратичное программирование |
4. Численные методы минимизации унимодальных функций |
5. Численные методы оптимизации многоэкстремальных функций |
6. Градиентные методы |
7. Метод Ньютона |
8. Метод аппроксимирующего программирования |
9. Метод штрафных функций |
10. Метод отсечений |
11. Метод ветвей и границ |
БИБЛИОГРАФИЧЕСКИЙ СПИСОК |
Оптимизация: |
|
1piar.ru
Методы оптимизации - Харчистов Б.Ф
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ ТАГАНРОГСКИЙ ГОСУДАРСТВЕННЫЙ РАДИОТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
Б.Ф. Харчистов
МЕТОДЫ ОПТИМИЗАЦИИ
УЧЕБНОЕ ПОСОБИЕ
УДК 519.8(075.5)
Харчистов Б.Ф. Методы оптимизации: Учебное пособие. − Таганрог:Изд-воТРТУ, 2004.− 140с.
Изложены основные понятия и теоретические положения курса «Методы оптимизации». Приведены алгоритмы, реализующие различные методы решения оптимизационных задач. Применение алгоритмов иллюстрировано решением примеров. Каждый раздел содержит задачи, снабженные ответами. В пособие включено индивидуальное задание, посвященное решению задачи формирования портфеля ценных бумаг. Также дана характеристика контрольных работ, используемых для текущего рей- тинг-контроля.Пособие предназначено для студентов специальностей 3514 и 0618, изучающих курс «Методы оптимизации», а также преподавателей, проводящих практические, индивидуальные занятия ирейтинг-контрольпо данному предмету.
Ил. 8. Библиогр.: 12 назв.
Печатается по решению редакционно-издательскогосовета Таганрогского государственного радиотехнического университета.
Рецензенты:
Кафедра математики и информатики Таганрогского института управления и экономики. В.П.Карелин, доктор технических наук, профессор, заведующий кафедрой.
Я.Е.Ромм, доктор технических наук, профессор, заведующий кафедрой информатики Таганрогского государственного педагогического института.
Харчистов Б.Ф., 2004
3
ВВЕДЕНИЕ
Настоящее учебное пособие призвано помочь студентам в изучении ряда основных методов решения оптимизационных задач, а также преподавателям при проведении практических и индивидуальных занятий по курсу «Методы оптимизации».
Всовременной литературе описано большое число методов решения оптимизационных задач, все их изложить невозможно. Поэтому в пособие включены лишь некоторые из наиболее эффективных и наиболее важных с методологической точки зрения методов.
Вразделах 1 и 2 приводятся классические методы решения оптимизационных задач, основанные на использовании дифференциального исчисления для нахождения точек экстремумов функций. В разделе 3 рассматривается одна из оптимизационных задач, обладающих специальной структурой – задача с квадратичной целевой функцией и линейными ограничениями. Разделы 4 и 5 посвящены методам одномерной минимизации, широко применяемым на практике в качестве составной части методов поиска экстремумов функций многих переменных. В разделах 6 и 7 рассматриваются численные методы безусловной оптимизации,
ав разделах 8 и 9 – численные методы условной оптимизации. Разделы 10 и 11 посвящены методам решения задач целочисленного линейного программирования.
Вкаждом разделе пособия даны краткая характеристика рассматриваемых методов, сводка рабочих формул и алгоритмы решения оптимизационных задач. Применение алгоритмов иллюстрируется решением примеров. В каждом разделе также приведены задачи, которые решаются студентами на практических занятиях или самостоятельно. Задачи снабжены ответами.
Пособие в значительной мере отражает практику преподавания предмета «Методы оптимизации» на кафедре прикладной информатики ТРТУ. Следует отметить, что в пособии отсутствует раздел, непосредственно посвященный линейному программированию, поскольку методы решения задач линейного программирования изучаются ранее в другом курсе. Однако ука-
4
занные методы используются при решении нелинейных задач с ограничениями и линейных целочисленных задач.
В пособие включено индивидуальное задание на тему «Задача выбора портфеля ценных бумаг», выполняемое по курсу «Методы оптимизации». В индивидуальном задании рассматриваются несколько моделей, оптимизирующих портфель ценных бумаг. В качестве критериев эффективности используются критерий максимизации ожидаемого дохода и критерий минимизации инвестиционного риска. Расчетная часть основана на гипотетических статистических данных о рынке ценных бумаг.
Текущий рейтинг-контрольосуществляется в форме контрольных работ. Структура работ, тип и количество заданий приведены в соответствующем разделе пособия. Конкретный вид целевых функций, функциональных и иных ограничений, а также другой числовой материал, используемый в контрольных работах, задается преподавателем.
По курсу используется следующее распределение рей-
тинга:
•5 контрольных работ (7% суммарного рейтинга за работу)
|
| − | 35% суммарного рейтинга, |
• | индивидуальное задание | − | 15% суммарного рейтинга, |
• | экзамен | − | 50% суммарного рейтинга. |
(1.1)
5
1. ЗАДАЧА БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Задача оптимизации формулируется следующим образом: заданы множество Х (допустимое множество задачи) и функцияf(x) (целевая функция), определенная наХ; требуется найти точки минимума или максимума функцииf наХ. Задача оптимизации, в которой целевая функция подлежит минимизации, имеет вид
f (x)→ min,x X.
В курсе рассматриваются задачи, допустимое множество которых лежит в евклидовом пространстве Rn.
Точка x X называется точкойглобального минимумаf(x) на множествеX, илиглобальным решением задачи (1.1), если
f (x )≤ f (x) при всехх Х.
Точка x X называется точкойлокального минимумаf(x) на множествеX, илилокальным решением задачи (1.1), если
| f (x* )≤ f (x) при всех | x X !V | (x ) , | ||||||||
|
|
|
|
|
|
|
|
|
| ε |
|
где V | (x) = {x Rn : |
|
|
| x − x |
|
|
| ≤ ε } − шар радиусаε>0 с центром в | ||
|
|
|
| ||||||||
ε |
|
|
|
|
|
|
|
|
|
|
|
точке x (ε - окрестность точкиx ).
Ясно, что глобальное решение является и локальным; обратное неверно.
Задача (1.1) называется задачей безусловной оптимизации, еслиX=Rn. На практических занятиях рассматриваются аналитические методы решения задач безусловной оптимизации, бази-
рующиеся на условиях оптимальности. Различают необходимые
условия оптимальности, т.е. условия, которым должна удовлетворять точка, являющаяся решением задачи, и достаточные условия оптимальности, т.е. условия, из которых следует, что данная точка является решением задачи.
6
1.1. ФУНКЦИЯ ОДНОЙ ПЕРЕМЕННОЙ
Для функции одной переменной условия оптимальности формулируются следующим образом.
Необходимое условие локальной оптимальности. Пусть f(x) дифференцируема в точке x R1. Если x− точка локаль-
ного оптимума (экстремума), то |
|
f ′(x )= 0. | (1.2) |
Точки, удовлетворяющие условию (1.2), называются стационарными. Стационарные точки могут быть и точками локального минимума, и точками локального максимума, и точками перегиба. Для определения характера стационарных точек используется достаточное условие локальной оптимальности.
Достаточное условие локальной оптимальности. Пусть
f (x)k раз,k>1, дифференцируема в точкеx R1, причемf ′(x )= f ′′(x )= ...= f (k −1) (x )= 0,f (k) (x )≠ 0.
Тогда, если k − четное число, тоx − точка локального минимума (максимума) приf (k ) (x )> 0 (приf (k ) (x )< 0 ). Если
k − нечетное число, тоx − точка перегиба.
Используя необходимое и достаточное условия оптимальности, находятся точки локальных экстремумов. Для определения
точек глобальных экстремумов вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x). Если
V ≡ max{limf (x), limf (x)}= +∞ ,
x→∞x→−∞
то f(x) не имеет конечного глобального максимума. Если
W ≡ min{ limf (x), | lim f (x)}= −∞ , |
x→∞ | x→−∞ |
то f(x) не имеет конечного глобального минимума.
Если f(x) имеет конечный глобальный максимум и (или) конечный глобальный минимум, то для их определения вычисляются также значенияf(x) на множестве точек локальных экстремумов. Наименьшее из полученных значений, т.е. значенийf(x) в точках локальных экстремумов и предельных значенийf(x),
7
определяет точку глобального минимума, наибольшее из полученных значений − точку глобального максимумаf(x).
Алгоритм определения точек локальных и глобальных экстремумов функции одной переменной заключается в следующем.
1. Находится f ′(x) .
2. Вычисляются корни уравнения f ′(x) =0− стационарные точкиx(i) ,i I = {1,2,...,N }, гдеN − число стационарных точек. Полагаетсяk=2.
3. Находится f (k ) (x).
4. Вычисляются значения f (k ) (x(i) ) для всехi I.
Если f (k ) (x(i) )≠ 0 , то определяется тип стационарной точкиx(i) и ее номер исключается из множестваI.
5. Проверяется условие определения типа всех стационарных точек
I= .
Если оно выполняется, то осуществляется переход к п.6. Если условие не выполняется, то полагается k=k+1 и осу-
ществляется переход к п.3.
6.Вычисляются предельные (при x → ∞ иx → −∞ ) значенияf(x).
Если f(x) не имеет конечных глобальных экстремумов, то вычисления прекращаются.
В противном случае осуществляется переход к п.7.
7.Вычисляются значения f(x) на множестве точек локальных экстремумов. По наименьшему из полученных значенийf определяется точка глобального минимума, по наибольшему из
полученных значений f − точка глобального максимума.
Пример 1. Определить точки локальных и глобальных экстремумов функцииf (x)= (1− x)3.
8
Решение.
Находим первую производную f(x):
f ′(x)= −3(1− x)2.
Вычисляем корни уравнения f ′(x)= 0 :
− 3(1−x)2 =0 →(1−x)2 =0 | → x | = |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1)
Определяем характер стационарной точки.
Находим вторую производную f(x):f ′′(x)= 6(1− x).
Вычисляем значение f ′′(x) в точкеx(1) :f ′′(x(1) = 1)= 0.
Поскольку характер стационарной точки не определен, то
находим третью производную f(x):
f ′′′(x) = −6 ≠0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть нечетное число (k=3), то точкаx=1 является точкой перегиба (I= ).
Вычисляем предельные значения f(x):
lim | f (x)= lim (1− x)3 | = {lim (1−x) }3 =(1− ∞)3 = −∞, | |
x→∞ | x→∞ | x→∞ |
|
lim | f (x)= lim (1− x)3 = {lim (1− x)}3 = (1+ ∞)3 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
Поскольку |
|
| |
| V ≡ max{lim | f (x), lim | f (x)}= +∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального максимума. | |||
Поскольку |
|
| |
| W ≡ min{ lim | f (x), lim | f (x)}= −∞ , |
| x→∞ | x→−∞ |
|
то f(x) не имеет конечного глобального минимума.
Ответ: функцияf (x)= (1− x)3 экстремумов не имеет.Пример 2. Определить точки локальных и глобальных
9 |
|
|
экстремумов функции f (x)= (1− x)4. |
| |
Решение. |
|
|
Находим первую производную f(x): |
| |
f ′(x)= −4(1− x)3. |
| |
Вычисляем корни уравнения f ′(x)= 0 : |
| |
− 4(1−x)3 =0 →(1−x)3 =0 →x | =1. | |
| (1) |
|
Получили одну стационарную точку (I = {1})x(1) =1. | ||
Определяем характер стационарной точки. |
| |
Находим вторую производную f(x): |
| |
f ′′(x)=12(1− x)2. |
| |
Вычисляем значение f ′′(x) | в точке x(1) : |
|
f ′′(x(1) =1) =0. |
| |
Поскольку характер стационарной точки не определен, то | ||
находим третью производную f(x): |
|
|
f ′′′(x)= −24(1− x). |
| |
Вычисляем значение f ′′′(x) | в точке x(1) : |
|
f ′′′(x(1) | = 1)= 0. |
|
Поскольку характер стационарной точки не определен, то находим четвертую производную f(x):
f (4) (x)= 24≠ 0.
Поскольку порядок k первой необращающейся в нуль в точкеx=1 производной есть четное число (k=4) иf (4) (x)> 0 , то точкаx=1 является точкой локального минимума (I= ).
Вычисляем предельные значения f(x): |
|
| ||
lim | f (x)= lim (1− x)4 | = {lim (1− x)}4 | = (1− ∞)4 | = ∞, |
x→∞ | x→∞ | x→∞ |
|
|
lim | f (x)= lim (1− x)4 | = {lim (1−x) }4 =(1+ ∞)4 = ∞. | ||
x→−∞ | x→−∞ | x→−∞ |
|
|
Поскольку |
|
|
| |
| V ≡ max{limf | (x), limf (x)}= +∞ , |
| |
| x→∞ | x→−∞ |
|
|
10
то f(x) не имеет конечного глобального максимума. Поскольку
W ≡ min{ limf (x), | lim f (x)} = +∞ ≠ −∞, |
x→∞ | x→−∞ |
то f(x) имеет конечный глобальный минимум. Вычисляем значениеf(x) в точкеx=1:
f (x = 1)= 0.
Определяем точку глобального. минимумаf(x):
min f (x)= min{f (x = 1),W}= min{0,+ ∞ }= 0= f (x = 1).
x R1
Таким образом, точка x=1 является точкой глобального минимумаf(x).
Ответ: функция | f (x)= (1− x)4 | имеет в точке x=1 глобаль- | ||||||||||||
ный минимум. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Пример 3. Определить точки | локальных и глобальных | |||||||||||||
экстремумов функции f | (x)= | x |
|
|
|
|
|
|
|
| ||||
| . |
|
|
|
|
|
|
|
| |||||
1+x2 |
|
|
|
|
|
|
|
| ||||||
Решение. |
|
|
|
|
|
|
|
|
|
|
|
|
| |
Находим первую производную f(x): |
|
|
|
|
|
| ||||||||
|
| f ′(x) = | 1+x2 −x 2x | = | 1 | − x2 |
| . |
|
| ||||
|
|
| (1+ x2 )2 |
| (1+ x2 )2 |
|
| |||||||
|
|
|
|
|
|
|
|
|
| |||||
Вычисляем корни уравнения f ′(x)= 0 : |
|
|
|
| ||||||||||
| 1−x2 | = 0 →1−x2 = | 0 → | x |
|
| = ±1. |
| ||||||
|
|
|
|
|
| |||||||||
| (1+ x2 )2 |
|
|
|
|
|
|
| (1,2) |
|
|
| ||
Получили две стационарные точки (I = {1, 2}) : |
| |||||||||||||
|
|
|
| x(1)=1, x(2)= −1. |
|
|
|
|
| |||||
Определяем характер стационарных точек. |
|
|
|
| ||||||||||
Находим вторую производную f(x): |
|
|
|
|
|
| ||||||||
f ′′(x) = | − 2x(1+ x2 )2 − 2(1+ x2 )2x(1− x2 ) | = | 2x(x2 − 3) | . | ||||||||||
|
|
| (1+ x2 )4 |
|
|
|
| (1+ x2 )3 | ||||||
|
|
|
|
|
|
|
|
|
|
|
|
Вычисляем значение f ′′(x) в точкеx(1) :
diplomconsult.ru