eng
Содержание
Предисловие 6
Список сокращений и обозначений 10
Глава 1. Элементы функционального анализа и спектрального
представления функций 12
1.1.
Линейные нормированные пространства 12
1.2.
Пространства со скалярным произведением 19
1.3.
Примеры ортогональных систем в пространстве L2 27
1.4.
Тригонометрические ряды Фурье. Явление Гиббса 33
1.5.
Интеграл Фурье 38
1.6.
Принцип неопределенности время-частотного
представления сигналов 44
1.7.
Обобщенное преобразование Фурье 50
1.8.
Энергетический спектр. Спектр мощности 54
Глава 2. Дискретизация и квантование сигналов.
Дискретные ортогональные преобразования 59
2.1.
Преобразование непрерывных сигналов в дискретные 59
2.2.
Дискретизация по критерию наибольшего отклонения 61
2.3.
Частотный критерий выбора шага дискретизации 62
2.4.
Спектр дискретного сигнала 67
2.5.
Дискретизация узкополосных сигналов 72
2.6.
Дискретное преобразование Фурье 79
2.7.
Быстрое преобразование Фурье.
Алгоритм БПФ с прореживанием по времени 87
2.8.
Алгоритм БПФ с прореживанием по частоте 100
2.9.
Дискретное преобразование Уолша 105
2.10.
Дискретное преобразование Хаара 111
2.11.
Некоторые применения дискретных ортогональных
преобразований 115
2.12.
Квантование дискретных сигналов 118
Глава 3. Описание и анализ линейных дискретных систем 129
3.1.
Нормирование временной и частотной осей 129
3.2.
Z-преобразование 130
3.3.
Линейные дискретные фильтры 136
3.4.
Соединения и структурные схемы фильтров 140
3.5.
Устойчивость ЛДФ 149
3.6.
Частотная характеристика ЛДФ 151
3.7.
Минимально-фазовые системы. Фазовые звенья 159
3.8.
Нахождение отклика фильтра с использованием БПФ 165
4
Содержание
3.9.
Многоскоростная обработка сигналов 167
3.10.
Изменение частоты дискретизации сигналов c помощью
полифазных фильтров 173
3.11.
Эффекты квантования в цифровых системах 180
3.12.
Согласованный дискретный фильтр 190
3.13.
Линейная дискретная система как генератор случайных
сигналов. Полюсная модель сигналов 198
3.14.
Фильтр Калмана 203
Глава 4. Введение в методы синтеза цифровых фильтров 211
4.1.
Этапы разработки цифровых фильтров 211
4.2.
КИХ-фильтры с линейной фазой.
Синтез КИХ-фильтров методом частотной выборки 217
4.3.
Оконный метод синтеза КИХ-фильтров 226
4.4.
Синтез оптимальных КИХ-фильтров 237
4.5.
Специальные КИХ-фильтры: преобразователь Гильберта
и цифровой дифференциатор 246
4.6.
Основные характеристики аналоговых линейных систем
и их связь с характеристиками ЛДС 255
4.7.
Синтез БИХ-фильтров по аналоговым прототипам 261
4.8.
Синтез БИХ-фильтров методом инвариантности
импульсной характеристики 273
4.9.
Синтез БИХ-фильтров методом билинейного
Z-преобразования 278
4.10.
Выбор структуры для реализации фильтра 286
4.11.
Адаптивная фильтрация. Фильтр Винера 291
4.12.
Построение фильтра Винера в частотной области 304
Глава 5. Основы прикладной теории информации 310
5.1.
Мера количества информации для дискретного источника
сообщений без памяти 310
5.2.
Основные теоремы о кодировании источника без памяти 316
5.3.
Эффективное кодирование дискретного источника без
памяти по методам Шеннона — Фано и Хаффмана 326
5.4.
Кодирование длин серий 332
5.5.
Арифметическое кодирование 335
5.6.
Условная энтропия 344
5.7.
Кодирование дискретного источника с памятью 348
5.8.
Статистическое моделирование источника сообщений 355
5.9.
Непрерывный источник сообщений.
Дифференциальная энтропия 356
5.10.
Передача дискретного сообщения по каналу с помехами 364
5.11.
Словарные методы кодирования 371
Содержание 5
Глава 6. Применение дискретных ортогональных преобразований
для компрессии и спектрального анализа сигналов 378
6.1.
Корреляция как мера статистической зависимости
данных. Преобразование Карунена — Лоэва 378
6.2.
Эффективность использования дискретных
ортогональных преобразований для кодирования
коррелированных данных 384
6.3.
ДПФ в вещественной форме. Дискретное преобразование
Хартли 391
6.4.
Дискретное косинусное преобразование 394
6.5.
Компрессия изображений на основе двумерного ДКП 403
6.6.
Дискретное псевдокосинусное преобразование 409
6.7.
Оптимизация алгоритмов сжатия данных с потерями 418
6.8.
Аппроксимационный подход к выбору преобразований
для представления дискретных сигналов. Частотная
трактовка 425
6.9.
Время-частотный анализ. Оконное преобразование Фурье 432
6.10.
Использование ДПФ для спектрального анализа 439
Глава 7. Вейвлет-преобразования и их приложения
для обработки дискретных сигналов 449
7.1.
Кратно-масштабный анализ 449
7.2.
Проектирование функций на подпространства КМА 455
7.3.
Вычисление дискретных вейвлет-преобразований 461
7.4.
Квадратурно-зеркальные фильтры 465
7.5.
Свойства КЗФ 471
7.6.
Построение масштабирующих функций и вейвлетов
по масштабирующим уравнениям 478
7.7.
Вейвлеты Добеши 482
7.8.
Биортогональные вейвлет-преобразования 488
7.9.
Применение дискретных вейвлет-преобразований для
сжатия сигналов 492
7.10.
Подавление шумов фильтрацией в базисе дискретных
вейвлет-преобразований 496
7.11.
Двумерные дискретные вейвлет-преобразования 499
7.12.
Метод сжатия цифровых изображений JPEG 2000 507
7.13.
Вейвлет-пакеты 514
7.14.
Вычисление ДВП по схеме лифтинга 526
Заключение 544
Литература 545
В последние два десятилетия методы цифровой обработки сигна-
лов (ЦОС) в радиотехнике, электронике, системах связи, контроля
и управления стали преобладающими, активно вытесняя методы
аналоговой обработки. Этому способствовала стремительно уве-
личивавшаяся производительность вычислительной техники,
которая уже проникла практически во все области человеческой
деятельности. Сегодня, например, говоря о записи или обработке
аудио- и видеоинформации, мы не уточняем, что речь идет о циф-
ровых форматах, подразумевая это само собой разумеющимся.
Важность изучения методов ЦОС трудно переоценить: вопросы,
связанные с цифровой обработкой и представлением сигналов,
давно перестали быть узкоспециальными. Основы знаний в дан-
ной области требуются большинству инженеров, а для специали-
стов в области электроники, радиотехники и телекоммуникаций,
информатики и вычислительной техники необходимо более глубо-
кое понимание основных методов ЦОС и математической теории,
лежащей в их основе. Предлагаемое вниманию читателя учебное
пособие посвящено изучению данных вопросов.
Изначально ЦОС развивалась как ветвь, растущая из теории об-
работки аналоговых сигналов, и рассматривалась как раздел элек-
троники и радиотехники. Однако внедрение в системы обработки
сигналов цифровых программируемых процессоров и контролле-
ров, расширение спектра и увеличение сложности алгоритмов ЦОС,
реализация которых стала возможна в том числе в реальном мас-
штабе времени, превратили ЦОС в политехническую дисциплину.
Сегодня для математиков-программистов, специалистов в области
информатики и вычислительной техники эта область знаний пред-
ставляет собой постоянно расширяющееся поле для приложения
усилий. Данную тенденцию необходимо учитывать при подготовке
инженерных кадров.
В предлагаемом вниманию читателя учебном пособии рассма-
триваются основы теории ЦОС, изложение которой по формату
Предисловие 7
и содержанию ориентировано в первую очередь именно на студен-
тов, обучающихся по инженерным направлениям «Математика и
компьютерные науки» и «Прикладная математика» (бакалавриат
и магистратура). Однако при написании пособия автор старался
опираться лишь на курс высшей математики, общий для всех ин-
женерных направлений подготовки, поэтому оно может быть реко-
мендовано также для студентов, обучающихся по профилям подго-
товки в области радиотехники, связи и телекоммуникаций.
Первая глава носит вводный характер и содержит изложение тех
основных положений функционального анализа и теории преобра-
зования Фурье, которые потребуются далее в последующих главах.
Помимо этого, в первой главе вводятся популярные в ЦОС функ-
циональные системы Уолша и Хаара.
Вторая глава посвящена вопросам дискретизации непрерыв-
ных сигналов и преобразований, прежде всего преобразования
Фурье. Значительное внимание уделено частотным аспектам дис-
кретизации (как широкополосных, так и узкополосных сигналов)
и построению быстрых алгоритмов вычислений дискретных пре-
образований Фурье, Уолша, Хаара. Кроме того, рассматривается
квантование сигналов.
В третьей главе вводятся основные понятия теории линейных
дискретных систем (фильтров). Основное внимание уделено ана-
лизу систем. Рассматриваются вопросы передискретизации сигна-
лов и влияния эффектов квантования в цифровых системах. Также
изу чаются некоторые теоретические вопросы согласованной филь-
трации и построения фильтров Калмана.
В четвертой главе изложены основные классические методы
синтеза КИХ- и БИХ-фильтров по заданной частотной характе-
ристике. Завершает главу рассмотрение основ теории адаптивных
фильтров.
Пятая глава представляет собой введение в теорию информации,
а также содержит описание ряда используемых на практике методов
эффективного статистического (энтропийного) кодирования.
8 Предисловие
Первые пять глав включают в себя рассмотрение общих теорети-
ческих вопросов ЦОС. В сокращенном варианте этот материал может
быть использован для базовой подготовки бакалавров по различным
инженерным направлениям обучения. В полном объеме материал
этих глав может составить основу учебного курса для подготовки
магистров, имеющих профиль обучения со специализацией в ЦОС,
прежде всего, по направлениям «Математика и компьютерные нау-
ки» и «Прикладная математика».
Две последние главы (шестая и седьмая) представляют собой
более углубленное теоретическое рассмотрение таких специаль-
ных разделов ЦОС, как эффективное представление и компрессия
сигналов, цифровой спектральный анализ. Седьмая глава цели-
ком посвящена применению дискретных вейвлет-преобразований
в ЦОС и может составить основу отдельного спецкурса.
Таким образом, в зависимости от потребностей читателя учеб-
ное пособие можно использовать при изучении ЦОС для различ-
ных уровней «глубины погружения» в предметную область.
1. Для первоначального освоения основных понятий ЦОС сле-
дует изучить главу 1 и параграфы 2.1–2.4, 2.6–2.8, 2.11–2.12,
3.1–3.6, 3.8. Полезно также разобрать материал параграфов
5.1–5.4. Этот уровень изучения можно считать начальным,
соответствующим бакалавриату различных инженерных на-
правлений обучения.
2. Для получения тех знаний теории ЦОС, которые, на взгляд
автора, необходимы для магистерского уровня инженерной
подготовки профильных направлений обучения (включая
связь и телекоммуникации, радиотехнику и электронику),
следует полностью изучить главы 1–4 и параграфы 5.1–5.4,
6.9, 6.10. Рекомендуется также ознакомиться с материалом,
изложенным в параграфах 5.5–5.11.
3. В полном объеме содержание учебного пособия ориентиро-
вано на студентов магистратуры, избравших область ЦОС
своей специализацией.
Предисловие 9
В книге используется двойная нумерация для рисунков, фор-
мул, примеров и теорем: первая цифра обозначает главу, вторая —
порядковый номер формулы (примера, теоремы) в главе. При ну-
мерации (обозначении) аксиом и свойств используется значок °,
например 1°. Начало и окончание доказательств теорем, решений
примеров обозначается соответственно символами ◄ и ►. Упражне-
ния (задачи) для самостоятельного решения приводятся непосред-
ственно в тех местах, где их появление логически наиболее связано
с излагаемым материалом, а не в конце глав или разделов, как это
чаще всего практикуется в учебной литературе.
Основу данного пособия составляют учебные курсы, читаемые
автором на протяжении многих лет в Национальном исследова-
тельском университете «Московский институт электронной тех-
ники» (МИЭТ) для бакалавров и магистров, обучающихся по на-
правлению «Прикладная математика». Большое значение в работе
над пособием имело обсуждение его содержания с коллегами. Ав-
тор выражает глубокую признательность доценту кафедры высшей
математики № 1 МИЭТ В. В. Лесину и рецензенту, внимательно
ознакомившимся с текстом рукописи и высказавшим ряд ценных
замечаний, которые были учтены при подготовке издания.
Функциональный анализ — раздел математики, который пред-
ставляет собой абстрактное обобщение линейной алгебры и ма-
тематического анализа. Рассмотрим некоторые понятия и методы
функционального анализа, которые наиболее важны для теории
обработки сигналов...
лов (ЦОС) в радиотехнике, электронике, системах связи, контроля
и управления стали преобладающими, активно вытесняя методы
аналоговой обработки. Этому способствовала стремительно уве-
личивавшаяся производительность вычислительной техники,
которая уже проникла практически во все области человеческой
деятельности. Сегодня, например, говоря о записи или обработке
аудио- и видеоинформации, мы не уточняем, что речь идет о циф-
ровых форматах, подразумевая это само собой разумеющимся.
Важность изучения методов ЦОС трудно переоценить: вопросы,
связанные с цифровой обработкой и представлением сигналов,
давно перестали быть узкоспециальными. Основы знаний в дан-
ной области требуются большинству инженеров, а для специали-
стов в области электроники, радиотехники и телекоммуникаций,
информатики и вычислительной техники необходимо более глубо-
кое понимание основных методов ЦОС и математической теории,
лежащей в их основе. Предлагаемое вниманию читателя учебное
пособие посвящено изучению данных вопросов.
Изначально ЦОС развивалась как ветвь, растущая из теории об-
работки аналоговых сигналов, и рассматривалась как раздел элек-
троники и радиотехники. Однако внедрение в системы обработки
сигналов цифровых программируемых процессоров и контролле-
ров, расширение спектра и увеличение сложности алгоритмов ЦОС,
реализация которых стала возможна в том числе в реальном мас-
штабе времени, превратили ЦОС в политехническую дисциплину.
Сегодня для математиков-программистов, специалистов в области
информатики и вычислительной техники эта область знаний пред-
ставляет собой постоянно расширяющееся поле для приложения
усилий. Данную тенденцию необходимо учитывать при подготовке
инженерных кадров.
В предлагаемом вниманию читателя учебном пособии рассма-
триваются основы теории ЦОС, изложение которой по формату
Предисловие 7
и содержанию ориентировано в первую очередь именно на студен-
тов, обучающихся по инженерным направлениям «Математика и
компьютерные науки» и «Прикладная математика» (бакалавриат
и магистратура). Однако при написании пособия автор старался
опираться лишь на курс высшей математики, общий для всех ин-
женерных направлений подготовки, поэтому оно может быть реко-
мендовано также для студентов, обучающихся по профилям подго-
товки в области радиотехники, связи и телекоммуникаций.
Первая глава носит вводный характер и содержит изложение тех
основных положений функционального анализа и теории преобра-
зования Фурье, которые потребуются далее в последующих главах.
Помимо этого, в первой главе вводятся популярные в ЦОС функ-
циональные системы Уолша и Хаара.
Вторая глава посвящена вопросам дискретизации непрерыв-
ных сигналов и преобразований, прежде всего преобразования
Фурье. Значительное внимание уделено частотным аспектам дис-
кретизации (как широкополосных, так и узкополосных сигналов)
и построению быстрых алгоритмов вычислений дискретных пре-
образований Фурье, Уолша, Хаара. Кроме того, рассматривается
квантование сигналов.
В третьей главе вводятся основные понятия теории линейных
дискретных систем (фильтров). Основное внимание уделено ана-
лизу систем. Рассматриваются вопросы передискретизации сигна-
лов и влияния эффектов квантования в цифровых системах. Также
изу чаются некоторые теоретические вопросы согласованной филь-
трации и построения фильтров Калмана.
В четвертой главе изложены основные классические методы
синтеза КИХ- и БИХ-фильтров по заданной частотной характе-
ристике. Завершает главу рассмотрение основ теории адаптивных
фильтров.
Пятая глава представляет собой введение в теорию информации,
а также содержит описание ряда используемых на практике методов
эффективного статистического (энтропийного) кодирования.
8 Предисловие
Первые пять глав включают в себя рассмотрение общих теорети-
ческих вопросов ЦОС. В сокращенном варианте этот материал может
быть использован для базовой подготовки бакалавров по различным
инженерным направлениям обучения. В полном объеме материал
этих глав может составить основу учебного курса для подготовки
магистров, имеющих профиль обучения со специализацией в ЦОС,
прежде всего, по направлениям «Математика и компьютерные нау-
ки» и «Прикладная математика».
Две последние главы (шестая и седьмая) представляют собой
более углубленное теоретическое рассмотрение таких специаль-
ных разделов ЦОС, как эффективное представление и компрессия
сигналов, цифровой спектральный анализ. Седьмая глава цели-
ком посвящена применению дискретных вейвлет-преобразований
в ЦОС и может составить основу отдельного спецкурса.
Таким образом, в зависимости от потребностей читателя учеб-
ное пособие можно использовать при изучении ЦОС для различ-
ных уровней «глубины погружения» в предметную область.
1. Для первоначального освоения основных понятий ЦОС сле-
дует изучить главу 1 и параграфы 2.1–2.4, 2.6–2.8, 2.11–2.12,
3.1–3.6, 3.8. Полезно также разобрать материал параграфов
5.1–5.4. Этот уровень изучения можно считать начальным,
соответствующим бакалавриату различных инженерных на-
правлений обучения.
2. Для получения тех знаний теории ЦОС, которые, на взгляд
автора, необходимы для магистерского уровня инженерной
подготовки профильных направлений обучения (включая
связь и телекоммуникации, радиотехнику и электронику),
следует полностью изучить главы 1–4 и параграфы 5.1–5.4,
6.9, 6.10. Рекомендуется также ознакомиться с материалом,
изложенным в параграфах 5.5–5.11.
3. В полном объеме содержание учебного пособия ориентиро-
вано на студентов магистратуры, избравших область ЦОС
своей специализацией.
Предисловие 9
В книге используется двойная нумерация для рисунков, фор-
мул, примеров и теорем: первая цифра обозначает главу, вторая —
порядковый номер формулы (примера, теоремы) в главе. При ну-
мерации (обозначении) аксиом и свойств используется значок °,
например 1°. Начало и окончание доказательств теорем, решений
примеров обозначается соответственно символами ◄ и ►. Упражне-
ния (задачи) для самостоятельного решения приводятся непосред-
ственно в тех местах, где их появление логически наиболее связано
с излагаемым материалом, а не в конце глав или разделов, как это
чаще всего практикуется в учебной литературе.
Основу данного пособия составляют учебные курсы, читаемые
автором на протяжении многих лет в Национальном исследова-
тельском университете «Московский институт электронной тех-
ники» (МИЭТ) для бакалавров и магистров, обучающихся по на-
правлению «Прикладная математика». Большое значение в работе
над пособием имело обсуждение его содержания с коллегами. Ав-
тор выражает глубокую признательность доценту кафедры высшей
математики № 1 МИЭТ В. В. Лесину и рецензенту, внимательно
ознакомившимся с текстом рукописи и высказавшим ряд ценных
замечаний, которые были учтены при подготовке издания.
Функциональный анализ — раздел математики, который пред-
ставляет собой абстрактное обобщение линейной алгебры и ма-
тематического анализа. Рассмотрим некоторые понятия и методы
функционального анализа, которые наиболее важны для теории
обработки сигналов...