eng
Содержание
Содержание
Список сокращений 8
Список основных обозначений 10
Предисловие 15
Глава 1. Введение в адаптивную обработку сигналов 20
1.1.
Введение 20
1.2.
Требования к адаптивным фильтрам 24
1.3.
Критерии функционирования адаптивных фильтров 31
1.4.
Идентификация неизвестной линейной системы 33
1.5.
Компенсация эхо-сигналов 37
1.6.
Выравнивание характеристик электрических каналов связи 44
1.7.
Адаптивные антенные решетки 51
1.8.
Шумоочистка сигналов 53
1.9.
Линейное предсказание сигналов 57
1.10.
Выводы по главе 58
Глава 2. Оператор комплексного градиента и его применение
в теории адаптивной фильтрации сигналов 59
2.1.
Введение 59
2.2.
Несколько простых примеров дифференцирования функций
действительных и комплексных переменных 60
2.3.
Дифференцирование комплексных и действительных функций
комплексного переменного 63
2.4.
Свойства оператора комплексного градиента 69
2.5.
Выводы по главе 71
Глава 3. Основы адаптивной фильтрации сигналов 72
3.1.
Введение 72
3.2.
Корреляционная матрица 73
3.3.
Собственные числа и собственные векторы
корреляционной матрицы 78
3.4.
Винеровская фильтрация 86
3.5.
Поверхность среднеквадратической ошибки 89
3.6.
Пример расчета собственных чисел, собственных векторов
корреляционной матрицы и поверхности среднеквадратической
ошибки 99
3.7.
Линейно-ограниченная винеровская фильтрация 102
3.8.
Выводы по главе 109
Глава 4. Поиск винеровского решения 110
4.1.
Введение 110
4.2.
Алгоритм Ньютона 111
4.3.
Постоянные времени алгоритма Ньютона 114
4.4.
Алгоритм наискорейшего спуска 118
4.5.
Постоянные времени алгоритма наискорейшего спуска 120
4.6.
Другая интерпретация алгоритма Ньютона 131
4.7.
Выводы по главе 134
Глава 5. LMS-алгоритм и его свойства 135
5.1.
Введение 135
5.2.
LMS-алгоритм 135
5.3.
Переходные процессы в LMS-алгоритме 139
5.4.
Качество адаптивной фильтрации сигналов
с помощью LMS-алгоритма 146
5.5.
NLMS-алгоритм 166
5.6.
Градиентные алгоритмы с переменным шагом сходимости 171
5.7.
Линейно-ограниченные LMS- и NLMS-алгоритмы 173
5.8.
Выводы по главе 181
Глава 6. Рекурсивная адаптивная фильтрация
по критерию наименьших квадратов 182
6.1.
Введение 182
6.2.
Задача наименьших квадратов и ее решение 182
6.3.
Основные свойства LS-решения 186
6.4.
Геометрическая интерпретация метода наименьших квадратов 190
6.5.
Рекурсивная задача наименьших квадратов 194
6.6.
Решение рекурсивной задачи наименьших квадратов 196
6.7.
Качество адаптивной фильтрации с помощью RLS-алгоритма 205
6.8.
Выводы по главе 217
Глава 7. Рекурсивная адаптивная фильтрация по критерию наименьших
квадратов на основе обратного QR-разложения 218
7.1.
Введение 218
7.2.
RLS-фильтрация с помощью прямого QR-разложения 219
7.3.
Рекурсивное вычисление вектора весовых коэффициентов 222
7.4.
Рекурсивное вычисление некоторых переменных 225
7.5.
Обратное QR-разложение 228
7.6.
Вычисление обратного разложения Холецкого 236
7.7.
Параллельная реализация IQRD RLS-алгоритма 239
7.8.
Выводы по главе 243
СодГлава 8. Рекурсивная адаптивная фильтрация по критерию наименьших
квадратов на базе прямого QR-разложения 244
8.1.
Введение 244
8.2.
Рекурсивная форма прямого QR-разложения 245
8.3.
Рекурсивное вычисление ошибок 250
8.4.
Параллельная реализация QRD RLS-алгоритма 257
8.5.
Выводы по главе 259
Глава 9. Уменьшение вычислительной сложности рекурсивных алгоритмов
адаптивной фильтрации по критерию наименьших квадратов 260
9.1.
Введение 260
9.2.
Преобразование Хаусхолдера 261
9.3.
RLS-алгоритм, использующий преобразование Хаусхолдера 265
9.4.
Исключение операций извлечения квадратного корня
в алгоритмах на основе обратного QR-разложения 270
9.5.
Исключение операций извлечения квадратного корня
в алгоритмах на основе прямого QR-разложения 277
9.6.
Выводы по главе 283
Глава 10. Линейно-ограниченная рекурсивная адаптивная фильтрация
по критерию наименьших квадратов 284
10.1.
Введение 284
10.2.
Постановка и решение линейно-ограниченной RLS-задачи
адаптивной фильтрации 284
10.3.
Линейно-ограниченный RLS-алгоритм 287
10.4.
Двойное ограничение в RLS-алгоритме 291
10.5.
RLS-алгоритм с двойным ограничением и линейной
вычислительной сложностью 293
10.6.
Выводы по главе 297
Глава 11. Быстрые рекурсивные адаптивные алгоритмы
по критерию наименьших квадратов 298
11.1.
Введение 298
11.2.
Линейное предсказание вперед 300
11.3.
Линейное предсказание назад 304
11.4.
Быстрое вычисление вектора коэффициентов Калмана 307
11.5.
Соотношение между апостериорными и априорными ошибками 312
11.6.
Рекурсивное вычисление отношения ошибок 313
11.7.
Быстрый алгоритм Калмана 315
11.8.
FTF-алгоритм 317
11.9.
FAEST-алгоритм 320
11.10.
Выводы по главе 323
Глава 12. Быстрые лестничные алгоритмы 324
12.1.
Введение 324
12.2.
Рекурсивное вычисление энергий ошибок линейного предсказания 325
12.3.
Рекурсивное вычисление ошибок линейного предсказания
и коэффициентов отражения 330
12.4.
Рекурсивное вычисление ошибок моделирования требуемого
сигнала адаптивного фильтра 334
12.5.
Рекурсивные адаптивные алгоритмы на основе вычисления
априорных и апостериорных ошибок 338
12.6.
Рекурсивные адаптивные алгоритмы с обратными связями
на основе вычисления априорных и апостериорных ошибок 343
12.7.
Нормализованный лестничный алгоритм 350
12.8.
Алгоритм на основе QR-разложения с операциями извлечения
квадратного корня 359
12.9.
Алгоритм на основе QR-разложения без операций извлечения
квадратного корня 370
12.10.
Алгоритм на основе QR-разложения с операциями извлечения
квадратного корня в пространстве состояний 373
12.11.
Выводы по главе 376
Глава 13. Многоканальные RLS-алгоритмы 377
13.1.
Введение 377
13.2.
B-SUSD линейное предсказание 378
13.3.
B-SUSD-вычисление векторов коэффициентов Калмана
и отношений ошибок линейного предсказания 385
13.4.
B-SUSD быстрые RLS-алгоритмы 392
13.5.
1-SUSD линейное предсказание 398
13.6.
1-SUSD вычисление векторов коэффициентов Калмана
и отношений ошибок линейного предсказания 402
13.7.
1-SUSD быстрые RLS-алгоритмы 411
13.8.
Выводы по главе 418
Глава 14. Другие разновидности RLS-алгоритмов 419
14.1.
Введение 419
14.2.
Быстрые алгоритмы на основе обратного QR-разложения 420
14.3.
Регуляризация RLS-алгоритмов 425
14.4.
RLS-алгоритмы со скользящим окном 428
14.5.
Одновременное использование скользящего окна
и регуляризации в RLS-алгоритмах 432
14.6.
Параллельные RLS-алгоритмы, допускающие вычисления
с помощью двух или четырех процессоров 438
14.7.
Особенности построения быстрых многоканальных алгоритмов
аффинных проекций 443
14.8.
Инициализация RLS-алгоритмов 458
14.9.
Выводы по главе 463
Глава 15. Применение адаптивных алгоритмов 464
15.1.
Введение 464
15.2.
Моделирование адаптивных фильтров с помощью
приложений DSP System Toolbox языка MATLAB 466
15.3.
Нестандартные программные средства для моделирования
адаптивных фильтров на языке MATLAB 471
15.4.
Моделирование приложений адаптивной фильтрации с помощью
Adaptive Filter Toolkit среды разработки LabVIEW 472
15.5.
Нестандартные программные средства для моделирования
адаптивных фильтров в среде разработки LabVIEW 484
15.6.
Моделирование приложений адаптивной фильтрации с помощью
Adaptive Equalization Library среды разработки SystemVue 489
15.7.
Библиотека адаптивной фильтрации для ЦСП отечественного
семейства «Мультикор» 494
15.8.
Приложения адаптивной фильтрации для цифровых
сигнальных процессоров компаний Texas Instruments,
Analog Devices и Freescale Semiconductor 498
15.9.
Выводы по главе 501
Заключение 502
Список литературы 505
Предметный указатель 521
Adaptive Signal Filtering: Theory and Algorithms
by Victor I. Djigan
http://www.linkedin.com/pub/victor-djigan/0/a49/31
E-mail: victor.dzhigan@huawei.com
Tel.: +7-925-008-0903 (mobile office), +7-905-589-0703 (mobile home)
2013
Publisher: Technosphera (Moscow, Russia)
http://www.technosphera.ru/page/tsphera_en?lang=en
ISBN: 978-5-94836-342-4
Publisher contacts are available on the above link
Abstract
The book considers the basic structures of adaptive filters and the filters applications in radio and communication systems. Mathematical background used in adaptive filtering is presented. The methods of the adaptive filtering development, computational procedures of the algorithms and the algorithms properties are considered. The considered algorithms are Newton, Steepest Descent, Least Mean Square (LMS), Recursive Least Squares (RLS) and Fast (computationally effective) RLS, multichannel RLS, RLS for non stationary signal processing and multichannel Affine Projection. The description of standard and non-standard tools for adaptive filters simulation in modern software like MATLAB, LabVIEW and SystemVue, as well as the results of the implementation of adaptive filters in modern Digital Signal Processors, are presented.
The theory is presented for the most general case of adaptive filters, i.e. adaptive filters with complex-valued weights, multichannel adaptive filters and adaptive filters for non stationary signal processing.
The book is the first systematic description of adaptive filter theory in Russian language.
It can be useful for scientists, engineers, under and post graduation students, who deals with radio and communication systems design and investigation, digital signal processing and particularly with adaptive signal processing.
Published in Russian http://www.technosphera.ru/lib/book/333 , the book has 528 pages; 152 numbered pictures (236 unnumbered pictures), 55 tables; 1488 numbered formulas and a number of unnumbered formulas.
About the Author
Victor I. Dzhigan (known as Victor I. Djigan), was born in 1958 Ukraine. He has DSc, PhD, MS and BS degrees, all in Radioengineering. He is an IEEE Senior Member, a Member of Russian Radioengineering Society and a Real Member of Academia of Applied Electronics Sciences (Ukraine). Presently he is a Chief Senior Scientist in Russian Research Center Huawei (Moscow, Russia). Previously he was employed in Samsung (Korea), PMC-Sierra (Irealand), LG (Russia) and in a number of Russian companies. He is also a part-time professor in Radioengineering Department in National Research University of Electronic Technology (Moscow, Russia). Dr. Dzhigan is the author of about 200 scientific papers and 4 books on Adaptive Signal Processing and related topics. He has long time experience in Adaptrive Siganal Processing field.
Contents
Page
ABBREVIATION ………………………………………………….. 8
FORMULA NOTATIONS …………………………………………. 10
PREFACE …………………………………………………............... 15
ABBREVIATIONS ……………………………………………..….. 18
1.
INTRODUCTION TO ADAPTIVE SIGNAL PROCESSING …… 20
1.1.
Chapter introduction ……………………………………………… 20
1.2.
Adaptive filter specification ………………………………………... 24
1.3.
Cost functions of adaptive filters ………………………………….... 31
1.4.
Linear system identification ………………………………………... 33
1.5.
Echo cancellation ………………………………………………….. 37
1.6.
Channel equalization …...................................................................... 44
1.7.
Adaptive arrays ……………………………………………………... 51
1.8.
Noise cancellation …………………………………………………... 53
1.9.
Linear prediction ………………………………................................. 57
1.10.
Chapter conclusion ………………………………………………..... 58
33
numbered pictures (81 unnumbered pictures), 0 tables; 15 numbered formulas.
2.
COMPLEX GRADIENT OPERATOR AND ITS APPLICATION IN ADAPTIVE SIGNAL PROCESSING ..........................................
59
2.1.
Chapter introduction ………………………………………………... 59
2.2.
A few simple examples of differentiation of real-values and complex-valued functions ………………………………..................
60
2.3.
Differentiation of complex-valued and real-valued functions of complex-valued variables …………………………………………...
63
2.4.
Properties of complex gradient operator …………………................ 69
2.5.
Chapter conclusion ………………………………………………..... 71
0
numbered pictures (0 unnumbered pictures), 0 tables; 62 numbered formulas.
3.
FUNDAMENTALS OF ADAPTIVE FILTERING ……………… 72
3.1.
Chapter introduction ………………………………………………... 72
3.2.
Correlation matrix …………………………………………………... 73
3.3.
Eigenvalues and eigenvectors of correlation matrix ………………... 78
3.4.
Wiener filtering ……………………………………………………... 86
3.5.
Mean square error surface ………………………………………….. 89
3.6.
Example of the calculation of eigenvalues and eigenvectors of correlation matrix, and mean square error surface …………………...... 99
3.7
Linearly constrained Wiener filtering ………………………………. 102
3.8.
Chapter conclusion ………………………………………………..... 109
17
numbered pictures (18 unnumbered pictures), 0 tables; 109 numbered formulas.
4.
WIENER FILTERING SOLUTION ……………………………….. 110
4.1
Chapter introduction ……………………………………………… 110
4.2
Newton algorithm ………………………………………………....... 111
4.3
Time constants of Newton algorithm ………………………………. 114
4.4
Steepest descent algorithm …………………………………………. 118
4.5
Time constants of steepest descent algorithm ……………………… 120
4.6
Another interpretation of Newton algorithm ……………………… 131
4.7
Chapter conclusion ………………………………………………... 134
20
numbered pictures (20 unnumbered pictures), 0 tables; 57 numbered formulas.
5.
LMS ALGORITHM AND ITS PROPERTIES …………………….. 135
5.1.
Chapter introduction ………………………………………………... 135
5.2.
LMS algorithm .…………………………………………………….. 135
5.3.
Transient responses of LMS algorithm ………………….…………. 139
5.4.
Quality of adaptive filtering by means of LMS algorithms ……… 146
5.5.
NLMS algorithm .…………………………………………………... 166
5.6.
Gradient algorithms with variable step-size ………………………... 171
5.7.
Linearly constrained LMS- and NLMS-algorithms ………………... 173
5.8.
Chapter conclusion ………………………………………………..... 181
16
numbered pictures (16 unnumbered pictures), 6 tables; 204 numbered formulas.
6.
RECURSIVE LEAST SQUARES ADAPTIVE FILTERING ……... 182
6.1.
Chapter introduction ………………………………………………... 182
6.2.
Least squares problem and its solution ……………………………... 182
6.3.
Basic properties of least squares solution …………………………... 186
6.4.
Geometric interpretation of least squares method ………………….. 190
6.5.
Recursive least squares problem ……………………………………. 194
6.6.
Recursive least squares problem solution …………………………... 196
6.7.
Quality of adaptive filtering by means of RLS algorithms ……… 205
6.8.
Chapter conclusion ………………………………………………..... 217
9
numbered pictures (9 unnumbered pictures), 1 table; 141 numbered formulas.
7.
RECURSIVE LEAST SQUARES ADAPTIVE FILTERING ALGORITHMS BASED ON INVERSE QR DECOMPOSITION
218
7.1.
Chapter introduction ………………………………………………... 218
7.2.
RLS filtering based on direct QR decomposition …………………... 219
7.3.
Recursive computation of weight vector …………………………… 222
7.4.
Recursive computation of some variables ………………………….. 225
7.5.
Inverse QR decomposition …………………………………………. 228
7.6.
Computation of inverse Cholesky factorization ………………….. 236
7.7.
Parallel implementation of IQRD RLS algorithms ………………… 239
7.8.
Chapter conclusion ………………………………………………..... 243
4
numbered pictures (5 unnumbered pictures); 1 table; 130 numbered formulas.
8.
RECURSIVE LEAST SQUARES ADAPTIVE FILTERING ALGORITHMS BASED ON DIRECT QR DECOMPOSITION ….
244
8.1.
Chapter introduction ………………………………………………... 244
8.2.
Recursive form of direct QR decomposition ……………………….. 245
8.3.
Recursive computation of errors ………………………………......... 250
8.4.
Parallel implementation of QRD RLS algorithms …………………. 257
8.5.
Chapter conclusion ………………………………………………... 259
2
numbered pictures (2 unnumbered pictures); 1 table; 60 numbered formulas.
9.
COMPUTATION COMPLEXITY DECREASING IN RECURSIVE LEAST SQUARES ADAPTIVE FILTERING ALGORITHMS ……………………………………………………..
260
9.1.
Chapter introduction ………………………………………………... 260
9.2.
Householder transform ……………………………………………... 261
9.3.
RLS algorithm, based on Householder transform ………………….. 265
9.4.
Elimination of square roots in inverse QRD algorithms …………… 270
9.5.
Elimination of square roots in direct QRD algorithms ……………... 277
9.6.
Chapter conclusion ………………………………………………..... 283
1
numbered picture (1 unnumbered picture); 3 tables; 144 numbered formulas.
10.
LINEARLY CONSTRAINED LEAST SQUARES ADAPTIVE FILTERING ………………………………………….……………...
284
10.1.
Chapter introduction ………………………………………………... 284
10.2.
Linearly constrained RLS problem and its solution ………............... 284
10.3.
Linearly constrained RLS algorithm ……………………………….. 287
10.4.
Double constraint in RLS algorithm ………………………………... 291
10.5.
Double constraint in RLS algorithm with linear computational complexity ……………………………………………………………….
293
10.6.
Chapter conclusion ………………………………………………... 297
0
numbered pictures (0 unnumbered pictures); 3 tables; 54 numbered formulas.
11.
FAST RECURSIVE LEAST SQUARES ALGORITHMS ………... 298
11.1.
Chapter introduction ………………………………………………... 298
11.2.
Linear forward prediction …………………………………............... 300
11.3.
Linear backward prediction ………………………………………… 304
11.4.
Fast computation of Kalman gain ………........................................... 307
11.5.
A posteriori and a priori errors relationships ……………………….. 312
11.6.
Recursive computation of error ratios ………………….................... 313
11.7.
Fast Kalman algorithm ……………………………………………... 315
11.8.
FTF algorithm ………………………………………………………. 317
11.9.
FAEST algorithm …………………………………………………... 320
11.10.
Chapter conclusion ………………………………………………... 323
2
numbered pictures (2 unnumbered pictures); 4 tables; 111 numbered formulas.
12.
LATTICE ALGORITHMS ………………………………………… 324
12.1.
Chapter introduction ………………………………………………... 324
12.2.
Recursive computation of linear prediction error energies ………… 325
12.3.
Recursive computation of linear prediction errors and reflection coefficients …………………………………………………………
330
12.4.
Recursive computation of join process errors ……………………… 334
12.5.
Recursive adaptive filtering algorithms based on a priory and a posteriori linear prediction errors of input signal and join process estimation ……………………………………………………………
338
12.6.
Feedback recursive adaptive filtering algorithms based on a priory and a posteriori linear prediction errors of input signal and join process estimation ………………...…………………………………
343
12.7.
Normalized lattice algorithm ……………………………………….. 350
12.8.
Square roots QRD based algorithm ……………………….………... 359
12.9.
Square roots free QRD based algorithm ……………………………. 370
12.10.
Square roots QRD based algorithm in state-space …….………........ 373
12.11.
Chapter conclusion ………………………………………………... 376
6
numbered pictures (6 unnumbered pictures); 11 tables; 193 numbered formulas.
13.
MULTICHANNEL RLS ALGORITHMS …………………………. 377
13.1
Chapter introduction ……………………………………………...… 377
13.2.
B-SUSD linear prediction …………………………………...……… 378
13.3.
B-SUSD calculation of Kalman gains and the relations of prediction errors ………………………………………………………………...
385
13.4.
B-SUSD fast RLS algorithms ………………………………………. 392
13.5.
1-SUSD linear prediction …………………………………...……… 398
13.6.
1-SUSD calculation of Kalman gains and the relations of prediction errors ………………………………………………………………...
402
13.7.
1-SUSD fast RLS algorithms ………………………………………. 411
13.8.
Chapter conclusion ………………………………………………... 418
0
numbered pictures (0 unnumbered pictures); 7 tables; 153 numbered formulas.
14.
OTHER RLS ALGOROTHMS ……………………………………. 419
14.1.
Chapter introduction ……………………………………………...… 419
14.2.
Fast QR RLS algorithms ……………………………………………. 420
14.3.
Regularization of RLS algorithms …………………………………. 425
14.4.
Sliding window RLS algorithms …………………………................ 428
14.5.
Simultaneous using od sliding window and regularization in RLS algorithms …………………………………………………………
432
14.6.
Parallel RLS-алгоритмы for implementation in two or four processors …………………………………………………………………..
438
14.7.
Peculiarities of multichannel fast affine projection algorithms …… 443
14.8
Initialization of RLS algorithms …………………………………… 458
14.9
Chapter conclusion ………………………………………………... 463
15
numbered pictures (23 unnumbered pictures); 14 tables; 55 numbered formulas.
15.
SIMULATION AND IMPLEMENTATION OF ADAPTIVE FILTERS ………………………………………………………........
464
15.1
Chapter introduction ……………………………………………...… 464
15.2
Simulation of adaptive filters by means of functions of DSP System Toolbox in MATLAB ……………………………………………….
466
15.3
Nonstandard software for simulation of adaptive filters in MATLAB …………………………………………………………
471
15.4
Simulation of adaptive filters applications by means of Adaptive Filter Toolkit in LabVIEW ………………………………………….
472
15.5
Nonstandard software for simulation of adaptive filters in LabVIEW …………………………………………………………… 484
15.6
Simulation of adaptive filters applications by means of Adaptive Equalization Library in SystemVue ………………………………... 489
15.7
Adaptive Filter Library for signal controllers of «Multicore» family 494
15.8
Adaptive filters in Applied Libraries of Texas Instruments, Analog Device, Freescale Semiconductor DSPs ……………………………. 498
15.9
Chapter conclusion ………………………………………………... 501
27
numbered pictures (53 unnumbered pictures); 4 tables; 0 numbered formulas.
CONCLUTION ……………………………………………………. 502
REFERENCES …………………………………………………… 505
231
titles.
INDEX ……………………………………………………………… 521-528
Book Short Preface
The Digital Signal Processing (DSP) today is widely used in modern radiosystem engineering as well as in products of consumer electronics due to the big theoretical achievements in DSP and due to the electronic industry achievements, that allow to manufacture high performance digital VLSI for the real-time signal processing. Adaptive signal processing is a subfield in modern DSP.
Practical using of adaptive signal processing appeared due to the elaboration of the first adaptive filter based on Least Mean Square (LMS) criterion algorithm by B. Widrow (Stanford University, US) in 50-ths of the last century.
When is it needed to use the adaptive filtering of the signals? The adaptive filters is used if the filters with fixed parameters cannot solve a task, when the conditions of filtering are changed in time or when a specification to a filter cannot be defined in advance.
Adaptive filter is a filter, whose weights are changed during its operation. Dependently to a task the filter can be single-channel or multi-channel one with real-valued or complex-valued weights. The algorithms used to the weights calculations can be computationally and algorithmically simple like LMS algorithms or computationally complex like Recursive Least Squares (RLS) algorithms.
Today, there are lots of radio devices and equipment whose performance is almost impossible without the adaptive filters using . The examples are adaptive antenna arrays, acoustic and electrical echo cancellers, adaptive channel equalizers, noise cancellers etc. Adaptive filter which is a basic element of the above adaptive devices demonstrates different efficiency dependently the algorithm used for the filter weight calculation. To answer the question: ‘What the reason of the different efficiency?’, it is needed to understand what adaptive filtering is from mathematical point of view.
The answer on the questions are located in the journal and conference papers and DSP related books. The given book in one more book on the subject and the first book where the theory (mathematics) and practice (algorithms) are systematically presented in Russian language. The book considers lots of different adaptive filtering algorithms: from the simplest algorithms based on the gradient search strategy to the complex algorithms based on Least Square (LS) criterion. The materials are presented for the complex-valued signal filtering. The book has lots of pictures that are the results of numerical experiments. Some applications of adaptive filters are also discussed.
The book is organized as follow.
Chapter 1 considers the basics of adaptive filtering, architectures and costs functions of adaptive filters, as well as quality parameters, used in adaptive filters. Some examples of adaptive filters applications that are used in radio systems are also considered. They are adaptive echo-cancellers, equalizers, adaptive arrays, adaptive noise cancellers and adaptive filters of narrow-band signals.
Chapter 2 considers the complex-valued gradient operator and its properties. It considers the operator application in real-valued and complex-valued cost functions used in adaptive filtering. The results are compared to the real-valued gradient operator application with the real-valued cost functions.
Chapter 3 considers such fundamental objects of adaptive signal processing, condition-less and conditional (linearly constrained) Wiener filtering of the signals.
Chapter 4 considers two methods of Wiener filtering problem solution. They are Newton and steepest descent algorithms. The properties of the algorithms are analyzed. The results of numerical simulation are presented.
Chapter 5 considers the LMS adaptive filtering algorithm. The properties of the algorithm are analyzed. The results of numerical simulation are presented. Besides Normalized LMS (NLMS), LMS and NLMS with variable (gradient adaptive) step-size and linearly constrained LMS and NLMS algorithms are presented.
Chapter 6 considers the LS problem and its solution. Besides, it considers the RLS adaptive filtering algorithm based on the Matrix Inversion Lemma (MIL). The algorithm is the recursive solution of the LS problem. In the algorithm the MIL is used for the recursive inversion of the correlation matrix of adaptive filter input signal. The properties of the algorithm are analyzed. The results of numerical simulation are presented.
Chapter 7 considers RLS algorithm based on the inverse QR decomposition of the input signal matrix with the using of Givens rotations. The steps of the algorithm development, the algorithm description and some peculiarities of hardware implementation of the algorithm by means of parallel computations are presented.
Chapter 8 considers the RLS adaptive filtering algorithm, based on direct QR decomposition with the using of Givens rotations. The steps of the algorithm development, the algorithm description and some peculiarities of hardware implementation of the algorithm by means of parallel computations are presented.
Chapter 9 considers the RLS algorithm of adaptive filtering, based on inverse QR decomposition with the using of Householder transform. The algorithm has only one square root and only one dividing operations. The number of the square root operations in direct and inverse QR decomposition based algorithms with Givens rotation is proportional to the number of the weights of an adaptive filter. A method of the square root operations removing in the QR decomposition based algorithms is considered.
Chapter 10 considers linearly-constrained RLS algorithms based on the using of MIL. Three such algorithms with quadratic and linear complexity in the linearly-constrained part of the algorithms are considered.
Chapter 11 considers fast, i.e. computationally efficient, linear complexity RLS adaptive filtering algorithms, based on the sell matrix inversion lemma. The algorithms are the result of the mathematically equivalent transforms of the RLS algorithm, considered in Chapter 6.
Chapter 12 considers the theory and elaboration of the lattice adaptive filtering algorithms that belong to fast linear complexity RLS algorithm family. Ten lattice algorithms are presented.
Chapter 13 considers two methods of the development of the multi-channel versions of the RLS algorithms, presented in Chapters 6 – 11, for the adaptive filters with equal and unequal number of weights in the channels of the filters. The methods are based on the using of the permutation matrices.
Chapter 14 considers a number of the RLS algorithms that can be built with the using of the methods from Chapters 6 – 13. These are fast QR decomposition based RLS algorithms, RLS algorithms for non-stationary signal processing and the parallel versions of the algorithms. The RLS algorithms for non-stationary signal processing can be used itself or as a portion of computations in Fast Affine Projection (FAP) algorithm of adaptive filtering. Multichannel FAP and linearly constrained AP algorithms are presented. Besides, the initialization of RLS and fast RLS algorithms is discussed.
Chapter 15 considers standard (developed by software manufactures) and nonstandard (developed by the author) tools for the simulation of adaptive filters in MATLAB, LabVIEW and SystemVue. Besides, some peculiarities of applied libraries of adaptive filters, implemented in modern Digital Signal Processors from TI, Analog Devices, Freescale and ELVEES (Russian manufactures) are discussed.
So, the book describes the basic theoretical aspects of modern adaptive signal processing and the adaptive filtering algorithms that are the result of the theory using. I hope, the readers of the book will receive a systematic knowledge in adaptive filtering and it will motivate the future studying and applications of the adaptive filtering theory and adaptive algorithms in practice.
This book will be useful for the senior as well as for beginning researchers and engineers, because all aspects of adaptive signal processing in the book are presented in details. So, from this point of view the book should be self-sufficient for the most of it’s readers.
Предисловие
Цифровая обработка сигналов (ЦОС) сегодня широко используется в радио-
локационных и радионавигационных системах, системах радио, проводной
и оптической связи; в вычислительной и бытовой технике. Это обусловлено
огромными теоретическими достижениями за последние шесть десятилетий
в ЦОС, а также технологическими достижениями электронной техники, по-
зволившими создавать одновременно компактные и высокопроизводительные
цифровые устройства для реализации алгоритмов ЦОС в реальном масштабе
времени. Столь длительное развитие теории и практики ЦОС привело к появ-
лению в этой области знаний ряда самостоятельных научно-технических на-
правлений. Адаптивная обработка сигналов — это одно из таких направлений.
Адаптивная обработка сигналов зарождалась в середине прошлого века.
Однако корни используемых в ней математических методов уходят в более дале-
кое прошлое. Затем эти методы были использованы Винером, Колмогоровым,
Крейном, Левинсоном и рядом других ученых для формирования основных
принципов адаптивной обработки сигналов. Использованию же адаптивной об-
работки сигналов на практике человечество обязано Бэрнарду Уидроу (Bernard
Widrow), который в конце 50-х годов прошлого века разработал и реализовал
первый адаптивный фильтр на базе Least Mean Square (LMS) алгоритма, также
известного как алгоритм по методу наименьшего квадрата (МНК).
Когда же требуется использовать адаптивную обработку сигналов, под ко-
торой обычно понимается адаптивная фильтрация? Тогда, когда с поставлен-
ной задачей не могут справиться фильтры с фиксированными параметрами.
Как правило, это случаи когда условия фильтрации меняются, а потому требо-
вания к параметрам фильтра не могут быть сформулированы заранее.
Адаптивный фильтр — это фильтр с перестраиваемыми весовыми коэффи-
циентами (ВК). В зависимости от решаемой задачи он может быть одноканаль-
ным или многоканальным, иметь действительные или комплексные ВК. Алго-
ритмы вычисления ВК могут быть простыми, как, например, LMS-алгоритм,
или сложными, как, например, Recursive Least Squares (RLS) алгоритм, также
известный как рекурсивный метод наименьших квадратов (РМНК).
Сегодня существует огромное число радиоэлектронных изделий, показа-
тели работы которых немыслимы без использования адаптивных фильтров.
16 Предисловие
Примерами таких изделий являются адаптивные антенные решетки, адаптив-
ные компенсаторы сигналов электрического и акустического эха, адаптивные
эквалайзеры (выравниватели) электрических характеристик каналов связи,
адаптивные компенсаторы шумов и ряд других устройств. Адаптивные филь-
тры, входящие в состав этих устройств, в зависимости от используемого алго-
ритма вычисления ВК демонстрируют различную функциональную эффектив-
ность. Для ответа на вопросы, почему это так и от чего это зависит, необходимо
понимать, что представляет собой адаптивная фильтрация сигналов с матема-
тической точки зрения.
Ответы на эти вопросы содержатся в многочисленных публикациях в пе-
риодических изданиях, трудах научно-технических конференций и техни-
ческих книгах, посвященных адаптивной обработке сигналов, в основном
на английском языке и труднодоступных большинству российских читателей.
Перевод ные книги [1—3] не содержат в себе многих важных аспектов адап-
тивной обработки сигналов, а также уже являются библиографической редко-
стью. Книги российских авторов [4, 5] являются узкоспециализированными,
так как отражают лишь аспекты адаптивной обработки сигналов в антенных
решетках.
Настоящая книга является первым систематическим изложением теории
(математических основ) и алгоритмов (практики) адаптивной фильтрации
на русском языке. В книге рассматривается большое число разнообразных алго-
ритмов адаптивной фильтрации: от простейших алгоритмов на базе стратегий
градиентного спуска до сложных алгоритмов по критерию наименьших квадра-
тов. Изложение материала дается для общего случая фильтрации комплексных
сигналов, в то время как в большинстве других книг аналогичные материалы из-
лагаются, как правило, лишь для случая фильтрации действительных сигналов.
Рассматриваются алгоритмы для одноканальных и многоканальных адаптив-
ных фильтров. Книга иллюстрирована большим числом рисунков и графиков,
отражающих результаты численных экспериментов. И хотя в книге не пресле-
дуется цель описания приложений адаптивных фильтров, в ней приводятся об-
щие сведения о таких наиболее известных приложениях, как адаптивные ан-
тенные решетки, эхо-компенсаторы, эквалайзеры каналов связи и ряд других.
Книга структурирована следующим образом.
В главе 1 приводятся общие сведения об адаптивной обработке сигналов,
о структурах, целевых функциях и критериях работы адаптивных фильтров,
а также показателях их качества. Рассматриваются примеры применения адап-
тивных фильтров при решении практических задач, встречающихся в радио-
технике и связи.
В главе 2 дается определение оператора комплексного градиента и рассма-
триваются его свойства. Анализируются результаты применения этого опера-
тора к действительным и комплексным целевым функциям. Эти результаты
также сравниваются с результатами применения оператора действительного
градиента к действительным целевым функциям.
Глава 3 посвящена фундаментальным понятиям адаптивной обработки
сигналов, таким как корреляционная матрица, собственные числа и соб-
ственные векторы этой матрицы, поверхность среднеквадратической ошибки,
безусловная и условная (линейно-ограниченная) винеровская фильтрация
сигналов.
В главе 4 описываются два способа поиска решения задачи винеровской
фильтрации: алгоритм Ньютона и алгоритм наискорейшего спуска. Анализи-
руются свойства этих алгоритмов и приводятся результаты их численного мо-
делирования.
В главе 5 рассматривается LMS-алгоритм адаптивной фильтрации. Ана-
лизируются свойства этого алгоритма и приводятся результаты его числен-
ного моделирования. Также рассматриваются нормализованная версия LMS-
алгоритма (NLMS-алгоритм), LMS- и NLMS-алгоритмы с переменным шагом
сходимости, изменяемым по градиентному закону, и линейно-ограниченные
версии LMS- и NLMS-алгоритмов.
В главе 6 рассматриваются постановка и решение задачи идентификации ли-
нейных объектов по критерию наименьших квадратов, а также RLS-алгоритм
адаптивной фильтрации, вытекающий из этой задачи и полученный с помо-
щью леммы об обращении матриц для рекурсивного обращения корреляцион-
ной матрицы входных сигналов адаптивного фильтра. Анализируются свойства
этого алгоритма и приводятся результаты его численного моделирования.
В главе 7 рассматривается RLS-алгоритм адаптивной фильтрации сигна-
лов на основе обратного QR-разложения с использованием вращений Гивенса.
Представлены основные шаги получения алгоритма, его вычислительная про-
цедура, а также вопросы аппаратной реализации, ориентированной на парал-
лельные вычисления.
В главе 8 рассматривается RLS-алгоритм адаптивной фильтрации сигналов,
основанный на прямом QR-разложении с использованием вращений Гивенса.
В главе 9 рассматривается RLS-алгоритм адаптивной фильтрации сигна-
лов, основанный на обратном QR-разложении с использованием преобразо-
вания Хаусхолдера. Также описывается способ исключения операций извле-
чения квадратного корня в RLS-алгоритмах на основе прямого и обратного
QR-разложений с использованием вращений Гивенса.
В главе 10 описаны три алгоритма линейно-ограниченной рекурсивной
адаптивной фильтрации сигналов по критерию наименьших квадратов, осно-
ванные на использовании леммы об обращении матриц.
18 Предисловие
В главе 11 рассматриваются быстрые, т. е. вычислительно эффективные,
RLS-алгоритмы адаптивной фильтрации, основанные на использовании лемм
об обращении клеточных матриц.
Главе 12 посвящена вопросам построения быстрых лестничных RLS-
алгоритмов. Приводятся вычислительные процедуры десяти разновидностей
таких алгоритмов.
В главе 13 рассматриваются многоканальные версии быстрых RLS-
алгоритмов, рассмотренных в главах 6—11, для адаптивных фильтров с неоди-
наковым числом весовых коэффициентов в каналах.
В главе 14 рассматривается ряд RLS-алгоритмов адаптивной фильтрации,
которые могут быть построены на основе приемов, описанных в главах 6—13.
Это быстрые алгоритмы на основе QR-разложения, а также алгоритмы обработ-
ки нестационарных сигналов и их параллельные версии, которые могут исполь-
зоваться как самостоятельно, так и в качестве части вычислительных процедур
в быстрых алгоритмах аффинных проекций. Кроме того, в главе освещены во-
просы инициализации (задания начальных значений ВК) RLS-алгоритмов.
В главе 15 приводятся сведения о стандартных и нестандартных средствах
моделирования адаптивных фильтров и их приложений на языке программи-
рования MATLAB, LabVIEW и SystemVue. Кроме того, приводятся сведения о
прикладных адаптивных фильтрах, реализованных на современных цифровых
сигнальных процессорах отечественного и зарубежного производства.
Таким образом, в книге изложены основные теоретические вопросы адап-
тивной обработки комплексных сигналов, рассмотрены алгоритмы вычисле-
ния ВК для одно- и многоканальных адаптивных фильтров, включая фильтры,
предназначенные для обработки нестационарных сигналов. В ней обобщены
и представлены с единой точки зрения как известные, так и оригинальные све-
дения, которые отражают результаты моих многолетних исследований в области
адаптивной обработки сигналов.
Я надеюсь, что у читателей сложится систематическое представление
об адаптивной обработке сигналов, а полученные знания вызовут мотивацию
для ее дальнейшего изучения, развития и использования на практике.
Книга будет полезна как зрелым, так и начинающим научным работникам,
инженерам, а также аспирантам и студентам. Книга получилась достаточно
объемной, хотя многие вопросы адаптивной обработки сигналов остались за ее
рамками. Подробное изложение делает эту книгу самодостаточной, а потому
простой и понятной.
Насколько это удалось, судить читателям. Я буду признателен за любые за-
мечания и пожелания, касающиеся этой книги. Ваши отзывы можно направ-
лять по адресу электронной почты djigan@yandex.ru.
Пользуясь случаем, я хотел бы выразить благодарность моим учителям
Незлину Д. В., Бецу В. П., Колюскину В. А. и Мингазину А. Т. за полученные
под их руководством знания за время учебы в Московском институте электрон-
ной техники (сейчас Национальный исследовательский университет «МИЭТ»),
приведшие меня в конечном итоге в адаптивную обработку сигналов, а также
коллегам и друзьям Александрову Ю. Н., Архипкину В. Я., Ако пяну А. Г., Бы-
строву А. Н., Брюханову Ю. А., Вечтомову В. А., Витязеву В. В., Витязеву С. В.,
Головенко Ю. Н., Гринкевичу В. Э., Гудковой Н. В., Гурееву А. В., Егорову С. И.,
Засову В. А., Захарову Ю. В., Земляку А. М., Лесникову В. А., Лупину С. А., Пе-
тричковичу Я. Я., Петрову А. С., Петрову В. Г., Плетневой И. Д., Приорову А. Л.,
Карпенко А. Л., Комарову В. Т., Коплович Е. А., Светлову А. Ю., Семушину И. В.,
Сергиенко А. Б., Солохиной Т. В., Ханяну Г. С., Хрящеву В. В., Чистюхину В. В.,
Чобану М. К. и Щербакову С. В. за постоянную поддержку и оценку моей рабо-
ты.
Отдельная благодарность сотрудникам российских представительств ком-
паний Agilent Technologies и National Instruments Бардашовой О. Н., Бурма-
тову А. В., Жигунову Б. С., Иванисову А. В., Кондратьеву Д. Е., Петренко Б. П.,
Подольскому А. С., Руданову Г. С., Сепояну П. Р. и Чутко О. В. за поддержку моих
работ и предоставление информационных материалов по программным про-
дуктам LabVIEW и SystemVue, вошедших в главу 15 настоящей книги.
Я также выражаю благодарность своим зарубежным коллегам Джо-
ну М. Чиоф фи (John M. Cioffi ), Стивену Л. Гранту (Steven L. Grant) и Эдварду
Джонсу (Edward Jones), внесшим свой вклад в формирование моего профессио-
нального интереса к адаптивной обработке сигналов.
Я благодарю сестру Александру и брата Василия за их постоянную под-
держку.
Особая благодарность моей жене Галине и дочерям Марии и Ольге за их по-
нимание и поддержку на протяжении написания этой книги и в повседневной
жизни.
ГЛАВА 1
ВВЕДЕНИЕ В АДАПТИВНУЮ ОБРАБОТКУ СИГНАЛОВ
Настоящая глава является введением в теорию адаптивной обработки сигналов.
В ней приводятся общие сведения об адаптивных фильтрах, их структурах, це-
левых функциях, критериях работы, а также показателях качества. Рассматри-
ваются примеры применения адаптивных фильтров при решении практических
задач, встречающихся в радиотехнике и связи: адаптивные эхо-компенсаторы,
эквалайзеры, антенные решетки, адаптивная шумоочистка и адаптивная филь-
трация узкополосных сигналов.
1.1. Введение
Согласно разным оценкам на сегодняшний день в научно-технических жур-
налах и трудах научно-технических конференций насчитывается более 10
тысяч публикаций, освещающих самые разные вопросы теории и практики
адаптивной обработки сигналов. Эти вопросы также рассматриваются в ряде
книг [1—33]. Такое число публикаций свидетельствует об огромных теорети-
ческих достижениях в этой области, нашедших свое отражение в адаптивных
устройствах, применяемых на протяжении уже многих десятилетий в различ-
ных радиоэлектронных изделиях. Примерами адаптивных устройств являют-
ся компенсаторы сигналов электрического и акустического эха, эквалайзеры
(выравниватели) характеристик электрических и акустических каналов связи,
адаптивные антенные и акустические решетки [34—36]. Сегодня можно конста-
тировать тот факт, что адаптивные устройства — это неотъемлемые элементы
оборудования современных радиотехнических систем и систем связи, тактико-
технические характеристики которых порой недостижимы без использования
адаптивной обработки сигналов.
Действительно, сигналы ближнего и дальнего эха являются источниками
помех для модемов, работающих в дуплексном режиме, а межсимвольная ин-
терференция является источником помех в каналах связи с ограниченной по-
лосой пропускания. Для достижения модемами высоких скоростей передачи
и приема цифровых данных эти помехи должны быть подавлены, что осущест-
вляется с помощью адаптивных эхо-компенсаторов и эквалайзеров.
Положительная обратная акустическая связь, возникающая в оборудо-
вании озвучивания помещений (концертные залы, залы для совещаний)
и в устройствах голосовой связи («hands-free»), устраняется с помощью адап-
тивных компенсаторов сигналов акустического эха. Выравнивание акустиче-
ских характеристик помещений при использовании оборудования высокока-
чественного воспроизведения звука осуществляется с помощью адаптивных
эквалайзеров.
Подавление активных помех, частотный диапазон которых совпадает с ча-
стотным диапазоном полезного сигнала, в радиолокации, гидролокации и свя-
зи осуществляется с помощью адаптивных антенных и акустических решеток.
Эти решетки являются пространственными фильтрами. Они обеспечивают
подавление сигналов помех, направления на источники которых отличаются
от направления на источник полезного сигнала.
Практические результаты адаптивной обработки сигналов во многом се-
годня обязаны технологическим достижениям в электронике и микроэлектро-
нике, благодаря которым появились одновременно высокопроизводительные
и компактные цифровые устройства на базе программируемых логических
интегральных схем (ПЛИС) и сверхбольших интегральных схем (СБИС) циф-
ровых сигнальных процессоров (ЦСП). Эти устройства обеспечивают реализа-
цию сложных алгоритмов ЦОС в реальном масштабе времени, т. е. на требуемой
частоте дискретизации обрабатываемых сигналов.
Таким образом, многолетние теоретические и практические достижения
в адаптивной обработке сигналов позволяют считать ее сложившимся научно-
техническим направлением в современных радиотехнике и связи.
Но что такое адаптивная обработка сигналов, или, в более широком смысле,
адаптация? Вот лишь некоторые определения этого термина [3]. «Адаптация —
это:
• действие, процесс приспособления;
• состояние приспосабливаемого, приспособление;
• любое изменение в структуре или функции организма или любой из его
частей в результате естественного отбора, с помощью которого организм
становится более приспособленным для выживания и размножения
в окружающей его среде; видоизменение формы или структуры в соот-
ветствии с изменением окружающей среды;
• ослабление отклика сенсорных рецепторов, таких как зрение, осязание,
температура, обоняние, слух и боль, на изменяющиеся, постоянно воз-
действующие условия окружающей среды;
• регулирование зрачком количества света, поступающего в глаз;
• медленное, обычно не осознанное изменение индивидуальной и соци-
альной деятельностей в процессе приспособления к культурной среде».
Перечисленные определения термина «адаптация» характеризуют в основ-
ном живой мир. Однако этот термин применим и к искусственным устройствам
и системам, которые в процессе своего функционирования могут самообучать-
ся. В основе большинства исскуственных адаптивных устройств лежит адап-
тивный фильтр.
Фильтрация сигналов — это такая их обработка, целью которой являет-
ся извлечение интересуемой информации, например сигналов, обладающих
определенными характеристиками. Обработка сигналов может выполняться
как аналоговым, так и цифровым способом. В книге мы будем рассматривать
только цифровую фильтрацию, предполагая, что обрабатываемые сигналы дис-
кретизованы с частотой, регламентируемой теоремой Котельникова, известной
в зарубежной литературе как теорема отсчетов, и оцифрованы с числом разря-
дов, определяемым динамическим диапазоном этих сигналов.
Известно, что свойства цифрового фильтра с фиксированными параметра-
ми обычно определяются его передаточной функцией. В свою очередь, пере-
даточная функция определяет структуру фильтра и его вычислительную слож-
ность. Если требования к передаточной функции невозможно сформулировать
заранее или эти требования могут меняться в процессе работы фильтра, то вме-
сто фильтра с фиксированными параметрами необходимо использовать фильтр
с изменяемыми параметрами, например адаптивный.
Так как параметры адаптивного фильтра меняются в процессе его работы,
то очевидно, что такой фильтр является нелинейным устройством. Однако
при каждом фиксированном значении параметров адаптивный фильтр пред-
ставляет собой линейное устройство, так как между его входными и выход-
ными сигналами обычно существует линейная зависимость, определяемая
текущим набором ВК, подобно линейным фильтрам с фиксированными па-
раметрами.
Таким образом, адаптивный фильтр — это фильтр с изменяемыми в процес-
се работы параметрами, набор которых во многом зависит от критерия работы
адаптивного фильтра. Этим критерием часто является достижение минимума
некоторой целевой функции, как правило, квадратичной функции ошибки
между так называемым требуемым и выходным сигналами адаптивного филь-
тра. Достижение минимума целевой функции означает, что выходной сигнал
адаптивного фильтра «близок» к требуемому сигналу, т. е. повторяет по форме
этот сигнал.
Выходной сигнал адаптивного фильтра приближается к требуемому сигналу
за счет изменения ВК, рассчитываемых на основе обработки требуемого и вход-
ного (входных в многоканальном случае) сигналов. В установившемся режиме
значения ВК соответствуют минимуму целевой функции или находятся в не-
большой окрестности этого минимума. Так как состояние адаптивного фильтра
меняется в процессе настройки ВК, то считается, что он приспосабливается или
адаптируется к существующим условиям функционирования. Поэтому и такой
фильтр, и алгоритм вычисления его ВК называют адаптивными.
Адаптивные алгоритмы являются основным предметом рассмотрения в на-
стоящей книге. Это, собственно, алгоритмы фильтрации, т. е. вычисления вы-
ходного сигнала адаптивного фильтра, и алгоритмы вычисления его ВК. Со-
вокупность данных алгоритмов будем равнозначно называть или адаптивным
фильтром, или адаптивным алгоритмом.
Анализ адаптивных фильтров как нелинейных устройств является более
сложным, чем анализ фильтров с фиксированными параметрами. Но адаптив-
ные фильтры являются самонастраивающимся и с этой точки зрения они более
простые, так как не требуют использования сложных и ресурсоемких методов
расчета, применяемых при синтезе фильтров с фиксированными ВК.
Если условия функционирования меняются, то адаптивный фильтр может
эти изменения в некоторой степени отслеживать. При этом следует понимать,
что адаптивный фильтр и следящая система — это не совсем одно и то же. Адап-
тивный фильтр, подобно фильтрам с фиксированными ВК, характеризуется
длительностью переходного процесса. Если изменения в системе медленные,
т. е. происходят за время, существенно превышающее длительность переходного
процесса адаптивного фильтра, то этот фильтр такие изменения, как правило,
отслеживает. По мере же увеличения скорости изменений в
Цифровая обработка сигналов (ЦОС) сегодня широко используется в радио-
локационных и радионавигационных системах, системах радио, проводной
и оптической связи; в вычислительной и бытовой технике. Это обусловлено
огромными теоретическими достижениями за последние шесть десятилетий
в ЦОС, а также технологическими достижениями электронной техники, по-
зволившими создавать одновременно компактные и высокопроизводительные
цифровые устройства для реализации алгоритмов ЦОС в реальном масштабе
времени. Столь длительное развитие теории и практики ЦОС привело к появ-
лению в этой области знаний ряда самостоятельных научно-технических на-
правлений. Адаптивная обработка сигналов — это одно из таких направлений.
Адаптивная обработка сигналов зарождалась в середине прошлого века.
Однако корни используемых в ней математических методов уходят в более дале-
кое прошлое. Затем эти методы были использованы Винером, Колмогоровым,
Крейном, Левинсоном и рядом других ученых для формирования основных
принципов адаптивной обработки сигналов. Использованию же адаптивной об-
работки сигналов на практике человечество обязано Бэрнарду Уидроу (Bernard
Widrow), который в конце 50-х годов прошлого века разработал и реализовал
первый адаптивный фильтр на базе Least Mean Square (LMS) алгоритма, также
известного как алгоритм по методу наименьшего квадрата (МНК).
Когда же требуется использовать адаптивную обработку сигналов, под ко-
торой обычно понимается адаптивная фильтрация? Тогда, когда с поставлен-
ной задачей не могут справиться фильтры с фиксированными параметрами.
Как правило, это случаи когда условия фильтрации меняются, а потому требо-
вания к параметрам фильтра не могут быть сформулированы заранее.
Адаптивный фильтр — это фильтр с перестраиваемыми весовыми коэффи-
циентами (ВК). В зависимости от решаемой задачи он может быть одноканаль-
ным или многоканальным, иметь действительные или комплексные ВК. Алго-
ритмы вычисления ВК могут быть простыми, как, например, LMS-алгоритм,
или сложными, как, например, Recursive Least Squares (RLS) алгоритм, также
известный как рекурсивный метод наименьших квадратов (РМНК).
Сегодня существует огромное число радиоэлектронных изделий, показа-
тели работы которых немыслимы без использования адаптивных фильтров.
16 Предисловие
Примерами таких изделий являются адаптивные антенные решетки, адаптив-
ные компенсаторы сигналов электрического и акустического эха, адаптивные
эквалайзеры (выравниватели) электрических характеристик каналов связи,
адаптивные компенсаторы шумов и ряд других устройств. Адаптивные филь-
тры, входящие в состав этих устройств, в зависимости от используемого алго-
ритма вычисления ВК демонстрируют различную функциональную эффектив-
ность. Для ответа на вопросы, почему это так и от чего это зависит, необходимо
понимать, что представляет собой адаптивная фильтрация сигналов с матема-
тической точки зрения.
Ответы на эти вопросы содержатся в многочисленных публикациях в пе-
риодических изданиях, трудах научно-технических конференций и техни-
ческих книгах, посвященных адаптивной обработке сигналов, в основном
на английском языке и труднодоступных большинству российских читателей.
Перевод ные книги [1—3] не содержат в себе многих важных аспектов адап-
тивной обработки сигналов, а также уже являются библиографической редко-
стью. Книги российских авторов [4, 5] являются узкоспециализированными,
так как отражают лишь аспекты адаптивной обработки сигналов в антенных
решетках.
Настоящая книга является первым систематическим изложением теории
(математических основ) и алгоритмов (практики) адаптивной фильтрации
на русском языке. В книге рассматривается большое число разнообразных алго-
ритмов адаптивной фильтрации: от простейших алгоритмов на базе стратегий
градиентного спуска до сложных алгоритмов по критерию наименьших квадра-
тов. Изложение материала дается для общего случая фильтрации комплексных
сигналов, в то время как в большинстве других книг аналогичные материалы из-
лагаются, как правило, лишь для случая фильтрации действительных сигналов.
Рассматриваются алгоритмы для одноканальных и многоканальных адаптив-
ных фильтров. Книга иллюстрирована большим числом рисунков и графиков,
отражающих результаты численных экспериментов. И хотя в книге не пресле-
дуется цель описания приложений адаптивных фильтров, в ней приводятся об-
щие сведения о таких наиболее известных приложениях, как адаптивные ан-
тенные решетки, эхо-компенсаторы, эквалайзеры каналов связи и ряд других.
Книга структурирована следующим образом.
В главе 1 приводятся общие сведения об адаптивной обработке сигналов,
о структурах, целевых функциях и критериях работы адаптивных фильтров,
а также показателях их качества. Рассматриваются примеры применения адап-
тивных фильтров при решении практических задач, встречающихся в радио-
технике и связи.
В главе 2 дается определение оператора комплексного градиента и рассма-
триваются его свойства. Анализируются результаты применения этого опера-
тора к действительным и комплексным целевым функциям. Эти результаты
также сравниваются с результатами применения оператора действительного
градиента к действительным целевым функциям.
Глава 3 посвящена фундаментальным понятиям адаптивной обработки
сигналов, таким как корреляционная матрица, собственные числа и соб-
ственные векторы этой матрицы, поверхность среднеквадратической ошибки,
безусловная и условная (линейно-ограниченная) винеровская фильтрация
сигналов.
В главе 4 описываются два способа поиска решения задачи винеровской
фильтрации: алгоритм Ньютона и алгоритм наискорейшего спуска. Анализи-
руются свойства этих алгоритмов и приводятся результаты их численного мо-
делирования.
В главе 5 рассматривается LMS-алгоритм адаптивной фильтрации. Ана-
лизируются свойства этого алгоритма и приводятся результаты его числен-
ного моделирования. Также рассматриваются нормализованная версия LMS-
алгоритма (NLMS-алгоритм), LMS- и NLMS-алгоритмы с переменным шагом
сходимости, изменяемым по градиентному закону, и линейно-ограниченные
версии LMS- и NLMS-алгоритмов.
В главе 6 рассматриваются постановка и решение задачи идентификации ли-
нейных объектов по критерию наименьших квадратов, а также RLS-алгоритм
адаптивной фильтрации, вытекающий из этой задачи и полученный с помо-
щью леммы об обращении матриц для рекурсивного обращения корреляцион-
ной матрицы входных сигналов адаптивного фильтра. Анализируются свойства
этого алгоритма и приводятся результаты его численного моделирования.
В главе 7 рассматривается RLS-алгоритм адаптивной фильтрации сигна-
лов на основе обратного QR-разложения с использованием вращений Гивенса.
Представлены основные шаги получения алгоритма, его вычислительная про-
цедура, а также вопросы аппаратной реализации, ориентированной на парал-
лельные вычисления.
В главе 8 рассматривается RLS-алгоритм адаптивной фильтрации сигналов,
основанный на прямом QR-разложении с использованием вращений Гивенса.
В главе 9 рассматривается RLS-алгоритм адаптивной фильтрации сигна-
лов, основанный на обратном QR-разложении с использованием преобразо-
вания Хаусхолдера. Также описывается способ исключения операций извле-
чения квадратного корня в RLS-алгоритмах на основе прямого и обратного
QR-разложений с использованием вращений Гивенса.
В главе 10 описаны три алгоритма линейно-ограниченной рекурсивной
адаптивной фильтрации сигналов по критерию наименьших квадратов, осно-
ванные на использовании леммы об обращении матриц.
18 Предисловие
В главе 11 рассматриваются быстрые, т. е. вычислительно эффективные,
RLS-алгоритмы адаптивной фильтрации, основанные на использовании лемм
об обращении клеточных матриц.
Главе 12 посвящена вопросам построения быстрых лестничных RLS-
алгоритмов. Приводятся вычислительные процедуры десяти разновидностей
таких алгоритмов.
В главе 13 рассматриваются многоканальные версии быстрых RLS-
алгоритмов, рассмотренных в главах 6—11, для адаптивных фильтров с неоди-
наковым числом весовых коэффициентов в каналах.
В главе 14 рассматривается ряд RLS-алгоритмов адаптивной фильтрации,
которые могут быть построены на основе приемов, описанных в главах 6—13.
Это быстрые алгоритмы на основе QR-разложения, а также алгоритмы обработ-
ки нестационарных сигналов и их параллельные версии, которые могут исполь-
зоваться как самостоятельно, так и в качестве части вычислительных процедур
в быстрых алгоритмах аффинных проекций. Кроме того, в главе освещены во-
просы инициализации (задания начальных значений ВК) RLS-алгоритмов.
В главе 15 приводятся сведения о стандартных и нестандартных средствах
моделирования адаптивных фильтров и их приложений на языке программи-
рования MATLAB, LabVIEW и SystemVue. Кроме того, приводятся сведения о
прикладных адаптивных фильтрах, реализованных на современных цифровых
сигнальных процессорах отечественного и зарубежного производства.
Таким образом, в книге изложены основные теоретические вопросы адап-
тивной обработки комплексных сигналов, рассмотрены алгоритмы вычисле-
ния ВК для одно- и многоканальных адаптивных фильтров, включая фильтры,
предназначенные для обработки нестационарных сигналов. В ней обобщены
и представлены с единой точки зрения как известные, так и оригинальные све-
дения, которые отражают результаты моих многолетних исследований в области
адаптивной обработки сигналов.
Я надеюсь, что у читателей сложится систематическое представление
об адаптивной обработке сигналов, а полученные знания вызовут мотивацию
для ее дальнейшего изучения, развития и использования на практике.
Книга будет полезна как зрелым, так и начинающим научным работникам,
инженерам, а также аспирантам и студентам. Книга получилась достаточно
объемной, хотя многие вопросы адаптивной обработки сигналов остались за ее
рамками. Подробное изложение делает эту книгу самодостаточной, а потому
простой и понятной.
Насколько это удалось, судить читателям. Я буду признателен за любые за-
мечания и пожелания, касающиеся этой книги. Ваши отзывы можно направ-
лять по адресу электронной почты djigan@yandex.ru.
Пользуясь случаем, я хотел бы выразить благодарность моим учителям
Незлину Д. В., Бецу В. П., Колюскину В. А. и Мингазину А. Т. за полученные
под их руководством знания за время учебы в Московском институте электрон-
ной техники (сейчас Национальный исследовательский университет «МИЭТ»),
приведшие меня в конечном итоге в адаптивную обработку сигналов, а также
коллегам и друзьям Александрову Ю. Н., Архипкину В. Я., Ако пяну А. Г., Бы-
строву А. Н., Брюханову Ю. А., Вечтомову В. А., Витязеву В. В., Витязеву С. В.,
Головенко Ю. Н., Гринкевичу В. Э., Гудковой Н. В., Гурееву А. В., Егорову С. И.,
Засову В. А., Захарову Ю. В., Земляку А. М., Лесникову В. А., Лупину С. А., Пе-
тричковичу Я. Я., Петрову А. С., Петрову В. Г., Плетневой И. Д., Приорову А. Л.,
Карпенко А. Л., Комарову В. Т., Коплович Е. А., Светлову А. Ю., Семушину И. В.,
Сергиенко А. Б., Солохиной Т. В., Ханяну Г. С., Хрящеву В. В., Чистюхину В. В.,
Чобану М. К. и Щербакову С. В. за постоянную поддержку и оценку моей рабо-
ты.
Отдельная благодарность сотрудникам российских представительств ком-
паний Agilent Technologies и National Instruments Бардашовой О. Н., Бурма-
тову А. В., Жигунову Б. С., Иванисову А. В., Кондратьеву Д. Е., Петренко Б. П.,
Подольскому А. С., Руданову Г. С., Сепояну П. Р. и Чутко О. В. за поддержку моих
работ и предоставление информационных материалов по программным про-
дуктам LabVIEW и SystemVue, вошедших в главу 15 настоящей книги.
Я также выражаю благодарность своим зарубежным коллегам Джо-
ну М. Чиоф фи (John M. Cioffi ), Стивену Л. Гранту (Steven L. Grant) и Эдварду
Джонсу (Edward Jones), внесшим свой вклад в формирование моего профессио-
нального интереса к адаптивной обработке сигналов.
Я благодарю сестру Александру и брата Василия за их постоянную под-
держку.
Особая благодарность моей жене Галине и дочерям Марии и Ольге за их по-
нимание и поддержку на протяжении написания этой книги и в повседневной
жизни.
ГЛАВА 1
ВВЕДЕНИЕ В АДАПТИВНУЮ ОБРАБОТКУ СИГНАЛОВ
Настоящая глава является введением в теорию адаптивной обработки сигналов.
В ней приводятся общие сведения об адаптивных фильтрах, их структурах, це-
левых функциях, критериях работы, а также показателях качества. Рассматри-
ваются примеры применения адаптивных фильтров при решении практических
задач, встречающихся в радиотехнике и связи: адаптивные эхо-компенсаторы,
эквалайзеры, антенные решетки, адаптивная шумоочистка и адаптивная филь-
трация узкополосных сигналов.
1.1. Введение
Согласно разным оценкам на сегодняшний день в научно-технических жур-
налах и трудах научно-технических конференций насчитывается более 10
тысяч публикаций, освещающих самые разные вопросы теории и практики
адаптивной обработки сигналов. Эти вопросы также рассматриваются в ряде
книг [1—33]. Такое число публикаций свидетельствует об огромных теорети-
ческих достижениях в этой области, нашедших свое отражение в адаптивных
устройствах, применяемых на протяжении уже многих десятилетий в различ-
ных радиоэлектронных изделиях. Примерами адаптивных устройств являют-
ся компенсаторы сигналов электрического и акустического эха, эквалайзеры
(выравниватели) характеристик электрических и акустических каналов связи,
адаптивные антенные и акустические решетки [34—36]. Сегодня можно конста-
тировать тот факт, что адаптивные устройства — это неотъемлемые элементы
оборудования современных радиотехнических систем и систем связи, тактико-
технические характеристики которых порой недостижимы без использования
адаптивной обработки сигналов.
Действительно, сигналы ближнего и дальнего эха являются источниками
помех для модемов, работающих в дуплексном режиме, а межсимвольная ин-
терференция является источником помех в каналах связи с ограниченной по-
лосой пропускания. Для достижения модемами высоких скоростей передачи
и приема цифровых данных эти помехи должны быть подавлены, что осущест-
вляется с помощью адаптивных эхо-компенсаторов и эквалайзеров.
Положительная обратная акустическая связь, возникающая в оборудо-
вании озвучивания помещений (концертные залы, залы для совещаний)
и в устройствах голосовой связи («hands-free»), устраняется с помощью адап-
тивных компенсаторов сигналов акустического эха. Выравнивание акустиче-
ских характеристик помещений при использовании оборудования высокока-
чественного воспроизведения звука осуществляется с помощью адаптивных
эквалайзеров.
Подавление активных помех, частотный диапазон которых совпадает с ча-
стотным диапазоном полезного сигнала, в радиолокации, гидролокации и свя-
зи осуществляется с помощью адаптивных антенных и акустических решеток.
Эти решетки являются пространственными фильтрами. Они обеспечивают
подавление сигналов помех, направления на источники которых отличаются
от направления на источник полезного сигнала.
Практические результаты адаптивной обработки сигналов во многом се-
годня обязаны технологическим достижениям в электронике и микроэлектро-
нике, благодаря которым появились одновременно высокопроизводительные
и компактные цифровые устройства на базе программируемых логических
интегральных схем (ПЛИС) и сверхбольших интегральных схем (СБИС) циф-
ровых сигнальных процессоров (ЦСП). Эти устройства обеспечивают реализа-
цию сложных алгоритмов ЦОС в реальном масштабе времени, т. е. на требуемой
частоте дискретизации обрабатываемых сигналов.
Таким образом, многолетние теоретические и практические достижения
в адаптивной обработке сигналов позволяют считать ее сложившимся научно-
техническим направлением в современных радиотехнике и связи.
Но что такое адаптивная обработка сигналов, или, в более широком смысле,
адаптация? Вот лишь некоторые определения этого термина [3]. «Адаптация —
это:
• действие, процесс приспособления;
• состояние приспосабливаемого, приспособление;
• любое изменение в структуре или функции организма или любой из его
частей в результате естественного отбора, с помощью которого организм
становится более приспособленным для выживания и размножения
в окружающей его среде; видоизменение формы или структуры в соот-
ветствии с изменением окружающей среды;
• ослабление отклика сенсорных рецепторов, таких как зрение, осязание,
температура, обоняние, слух и боль, на изменяющиеся, постоянно воз-
действующие условия окружающей среды;
• регулирование зрачком количества света, поступающего в глаз;
• медленное, обычно не осознанное изменение индивидуальной и соци-
альной деятельностей в процессе приспособления к культурной среде».
Перечисленные определения термина «адаптация» характеризуют в основ-
ном живой мир. Однако этот термин применим и к искусственным устройствам
и системам, которые в процессе своего функционирования могут самообучать-
ся. В основе большинства исскуственных адаптивных устройств лежит адап-
тивный фильтр.
Фильтрация сигналов — это такая их обработка, целью которой являет-
ся извлечение интересуемой информации, например сигналов, обладающих
определенными характеристиками. Обработка сигналов может выполняться
как аналоговым, так и цифровым способом. В книге мы будем рассматривать
только цифровую фильтрацию, предполагая, что обрабатываемые сигналы дис-
кретизованы с частотой, регламентируемой теоремой Котельникова, известной
в зарубежной литературе как теорема отсчетов, и оцифрованы с числом разря-
дов, определяемым динамическим диапазоном этих сигналов.
Известно, что свойства цифрового фильтра с фиксированными параметра-
ми обычно определяются его передаточной функцией. В свою очередь, пере-
даточная функция определяет структуру фильтра и его вычислительную слож-
ность. Если требования к передаточной функции невозможно сформулировать
заранее или эти требования могут меняться в процессе работы фильтра, то вме-
сто фильтра с фиксированными параметрами необходимо использовать фильтр
с изменяемыми параметрами, например адаптивный.
Так как параметры адаптивного фильтра меняются в процессе его работы,
то очевидно, что такой фильтр является нелинейным устройством. Однако
при каждом фиксированном значении параметров адаптивный фильтр пред-
ставляет собой линейное устройство, так как между его входными и выход-
ными сигналами обычно существует линейная зависимость, определяемая
текущим набором ВК, подобно линейным фильтрам с фиксированными па-
раметрами.
Таким образом, адаптивный фильтр — это фильтр с изменяемыми в процес-
се работы параметрами, набор которых во многом зависит от критерия работы
адаптивного фильтра. Этим критерием часто является достижение минимума
некоторой целевой функции, как правило, квадратичной функции ошибки
между так называемым требуемым и выходным сигналами адаптивного филь-
тра. Достижение минимума целевой функции означает, что выходной сигнал
адаптивного фильтра «близок» к требуемому сигналу, т. е. повторяет по форме
этот сигнал.
Выходной сигнал адаптивного фильтра приближается к требуемому сигналу
за счет изменения ВК, рассчитываемых на основе обработки требуемого и вход-
ного (входных в многоканальном случае) сигналов. В установившемся режиме
значения ВК соответствуют минимуму целевой функции или находятся в не-
большой окрестности этого минимума. Так как состояние адаптивного фильтра
меняется в процессе настройки ВК, то считается, что он приспосабливается или
адаптируется к существующим условиям функционирования. Поэтому и такой
фильтр, и алгоритм вычисления его ВК называют адаптивными.
Адаптивные алгоритмы являются основным предметом рассмотрения в на-
стоящей книге. Это, собственно, алгоритмы фильтрации, т. е. вычисления вы-
ходного сигнала адаптивного фильтра, и алгоритмы вычисления его ВК. Со-
вокупность данных алгоритмов будем равнозначно называть или адаптивным
фильтром, или адаптивным алгоритмом.
Анализ адаптивных фильтров как нелинейных устройств является более
сложным, чем анализ фильтров с фиксированными параметрами. Но адаптив-
ные фильтры являются самонастраивающимся и с этой точки зрения они более
простые, так как не требуют использования сложных и ресурсоемких методов
расчета, применяемых при синтезе фильтров с фиксированными ВК.
Если условия функционирования меняются, то адаптивный фильтр может
эти изменения в некоторой степени отслеживать. При этом следует понимать,
что адаптивный фильтр и следящая система — это не совсем одно и то же. Адап-
тивный фильтр, подобно фильтрам с фиксированными ВК, характеризуется
длительностью переходного процесса. Если изменения в системе медленные,
т. е. происходят за время, существенно превышающее длительность переходного
процесса адаптивного фильтра, то этот фильтр такие изменения, как правило,
отслеживает. По мере же увеличения скорости изменений в