Реферат: Імовірнісні методи ощадливого кодування інформації
де ( ) і ( ) -заелементні операції розподілу й множення відповідно.
Область визначається умовами розв'язуваного завдання. Приведемо приклади використання формули (7). Почнемо із простого випадку. Нехай перетворення полягає в заміні вихідного вектора вектором . Тоді область обмежень визначиться співвідношеннями , а величина - рівністю
,
звідки треба, що максимально можлива кількість інформації втримується в тотожному перетворенні й дорівнює
,
що й випливало очікувати.
Розглянемо більше складні й практично важливі приклади.
1.2 Оцінка інформативності ознак
У теорії розпізнавання образів оцінку інформативності ознаки одержують як відношення результатів розпізнавання об'єктів контрольної вибірки в повному просторі ознак до результатів розпізнавання, проведеного без обліку оцінюваної ознаки. Із цього визначення треба, що оцінка інформативності ознаки, мабуть, залежить від вирішального правила. Крім того, ця оцінка залежить від обсягу навчальної вибірки, де показано, що для одержання її достовірного значення, об'єктів у кожному класі повинне бути в десятки разів більше числа досліджуваних ознак.
З погляду змісту поняття «інформативність», можна дати наступне визначення: інформативна ознака - це ознака, що має близькі значення на елементах (об'єктах) одного класу й істотно різні значення на елементах різних класів.
Звідси треба, що для ефективного рішення завдання розпізнавання в алгоритмах класифікації необхідно перейти до використання ознак, що володіють відзначеною властивістю. Область припустимих значень визначимо в такий спосіб. Представимо всю сукупність елементів навчальної вибірки, що припускаємо відомої, у вигляді рядків матриці . Нехай - число розпізнаваних класів, - номер класу, якому відповідає значення -го ознаки на -ом елементі вибірки. Тоді інформативність -го ознаки (стовпця матриці ) можна оцінити на основі рішення завдання з областю визначення у вигляді
.
Відзначимо, що обумовлена в такий спосіб інформативність ознаки не залежить від одиниць його виміру й ураховує тільки відносні значення розподілу ознак на елементах класів розпізнавання.
Працездатність пропонованого методу покажемо при рішенні ряду завдань. Оцінимо інформативність чотирьох ознак квітів ірису при розбивці його на 3 класи (продовження вище наведеного приклада). Область буде складатися із всіх векторів , для компонентів яких виконуються співвідношення:
У таблиці 1 представлені результати оцінки інформативності ознак квітів ірису, а на малюнку 1- графік значень їхніх характеристик. Низька інформативність перших двох ознак обумовлена їхньою невеликою варіативністю, тоді як для останніх двох, навпаки, спостерігається висока варіативність.
Таблиця 1 - Результати оцінки інформативності ознак квітів ірису
Властивості ознаки | Ознаки | |||
чашолисток | маточка | |||
довжина | ширина | довжина | ширина | |
Інформативність | 0,0126 | 0,0079 | 0,3205 | 0,8158 |
Відносний діапазон зміни | 0,6116 | 0,3980 | 5,0146 | 12,1539 |
В останньому рядку таблиці представлена величина відносного діапазону зміни ознаки, обумовлена як сума відносин модуля попарних разностей середніх значень ознаки в класі до їх мінімального середнього значення. Як видно, наведені оцінки інформативності добре погодяться з оцінками варіативності ознак.
Рис. 2 - Графіки зміни ознак квітів ірису
1.3 Оптимальна градація ознак
Дуже часто, у завданнях класифікації й розпізнавання образів ознаки, що описують об'єкти спостереження мають різну природу, наприклад, кількісні і якісні. Їхнє спільне використання при класифікації даних, як правило, пов'язане із серйозними труднощами. У зв'язку із цим виникає завдання перетворення кількісних ознак у якісні, або іншими словами, завдання розбивки кількісних ознак на градації. Причому така розбивка повинне бути оптимальним з погляду потреб розв'язуваного завдання. У дійсній статті пропонується метод градації ознак на основі інформаційного критерію. Це завдання складніше, ніж визначення ознак розпізнавання, оскільки її рішення припускає не тільки визначення значень критерію (7), але й визначення значень порогів градації. Залишаючи осторонь деталі, намітимо шлях рішення цього завдання й приведемо приклади.
Нехай - вектор-стовпець речовинних позитивних чисел упорядкованих по зростанню. Потрібно розбити всі його значень по ступені близькості на груп по значень у кожній ( , ). Позначимо . Тоді для завдання область є .
З формули видно, що як цільова функція використається функція , мінімізація якої по області дозволяє легко визначити екстремальне . Однак область залежить від значень , обумовлених порядковими номерами порогів градацій . Ці пороги можна знайти з умов мінімізації їхніх внесків у значення цільової функції . Зазначені внески визначаються з наступного очевидного співвідношення
Легко побудувати алгоритм визначення значень на основі методу динамічних згущень й оцінок внесків. З використанням цього підходу, авторами розроблений ефективний метод градації значень. Його працездатність покажемо на конкретних прикладах.
Градація перших 100 чисел натурального ряду. У табл. 2 наведені результати градацій цих чисел. Відзначимо, що при відносна величина порога 0,21 близька до золотого перетину 0,168.
Таблиця 2 - Результати градації перших 100 чисел натурального ряду
Кількість градацій до | граничні значення |
2 | |
3 | |
4 | |
5 | |
10 |
Як видно з табл. 2, результати градації за інформаційним критерієм у порівнянні з рівномірним розподілом зміщені вліво. Це можна пояснити тим, що значення цільової функції залежить від відносних збільшень аргументів, але не від абсолютних.
1.4 Градація яркостей зображень
Відзначений у п. 1 факт можна використати для градації зображень, коли необхідно більше «часто» градуювати ті області яркостей пикселей, розходження яких необхідно підкреслити. Наприклад, яскраві значення пикселей, а не темних, оскільки око більше чутливе до сприйняття світлих ділянок зображень. Для цього досить перейти до градуировке зображення з матрицею яскравості пикселей , рівного , де - матриця, всі значення якої дорівнюють максимальному значенню матриці вихідного зображення . Для стислості такий метод градації назвемо «зворотним», на відміну від градації вихідного зображення, що ми назвемо «прямим».
На мал.1 представлені результати 4-х уровневой (2 біти) градації яркостей пикселей зображення «Роза». В інтересах зіставлення на всіх 4-х зображень (включаючи вихідне) сума яркостей пикселей однакова.
Як видно, при рівномірному, не оптимальному, розбивці спостерігаються нечисленні артефакти, «прямий» метод показав гарну чутливість до малих значень пикселей, «зворотній» - виділив всі яскраві ділянки вихідного зображення.