Справочник рса не работает: Верховный суд одобрил выплаты по ОСАГО не по справочникам РСА

Верховный суд одобрил выплаты по ОСАГО не по справочникам РСА

В середине сентябре 2017 г. в г. Камышин Волгоградской области столкнулись автомашины Geely и Ford Focus. У водителя Geely, гражданки П., возникли права требования о выплате по ОСАГО к  «АльфаСтрахованию». 26 сентября П. уступила права требования волгоградскому ООО «Российский союз автострахователей» (не путать с Российским союзом автостраховщиков). Это ООО добилось взыскания 8,5 тыс. р. страхового возмещения и примерно 30 тыс. р. расходов на экспертов и юристов. При этом Арбитражный суд Волгоградской области вынес решение на основании экспертизы, проведенной не по данным справочника РСА, а с использованием среднерыночных цен на ремонт. 

«АльфаСтрахование» обратилось в 12-й арбитражный апелляционный суд. Страховщик указал, что судебная экспертиза по делу была проведена с нарушением Единой методики: эксперт не использовал данные из справочников РСА. Однако апелляционная инстанция оставила решение первой инстанции в силе. Она разъяснила, что согласно выводам Верховного суда справочники РСА периода ДТП фактически «не соответствуют сложившимся ценам» и содержат цены ниже рыночных.

Волгоградский арбитраж правомерно поставил вопрос об определении размера расходов на ремонт автомобиля, исходя не из данных справочника РСА, а из средней цены, действовавшей на рынке услуг по ремонту транспортных средств. Заключение эксперта «в полной мере объективно, а его выводы – достоверны», указала апелляция. 

В декабре 2018 г. Арбитражный суд Поволжского округа оставил вышеуказанные судебные акты без изменений. Он добавил, что заключение эксперта является «в полной мере допустимым и достоверным доказательством». 

Верховный суд РФ в свою очередь отказался принимать кассационную жалобу «АльфаСтрахования» на рассмотрение Судебной коллегии по экономическим спорам ВС. Заключение эксперта «оценено как соответствующее требованиям законодательства об ОСАГО», – указала в определении судья Верховного суда РФ Надежда Ксенофонтова. 

Молчание страховщиков

Пятерка страховщиков – лидеров по сборам ОСАГО за 2017 г. («РЕСО-Гарантия», «Росгосстрах», «Ингосстрах», ВСК и «АльфаСтрахование») не стали комментировать выводы Верховного суда о правомерности экспертизы не по справочникам РСА. 

Ранее страховщики назвали аналогичные выводы Минераловодского городского суда «революционными» и способными привести к увеличению страховых тарифов.

По данным РСА, за 2018 г. российские страховщики урегулировали 2,1 млн страховых случаев в сфере ОСАГО. В 2016 и 2017 гг. было урегулировано по 2,4 млн страховых случаев. В случае массовой практики перерасчета выплат страховщики могут понести существенные незапланированные расходы. 

Требования о перерасчете выплат все еще единичны

В Российском союзе автостраховщиков (РСА), несмотря на слова судьи Верховного суда РФ Надежды Ксенофонтовой о соответствии заключения эксперта требованиям законодательства об ОСАГО, АСН заявили, что отказ в описываемом судебном решении вызван «процессуальными причинами, а не содержательной стороной дела». 

В 2018 г. физлицами к РСА было подано около 20 новых исковых заявлений о признании справочника средней стоимости запасных частей содержащим ошибки. Всего за 2018 г. были вынесены отказы по подобным требованиям (либо производство в части требований к РСА было прекращено) в 40 делах, в которых участвовал союз. 10 дел еще не рассмотрены, указали в РСА.

По теме 
А что, так можно было? Суд взыскал выплату по ОСАГО не по справочникам РСА
УФАС: перерасчет по справочникам РСА должен затронуть период с апреля 2016 г.
Верховный суд признал недобросовестность цен в справочниках РСА

РСА запустил сервис расчета стоимости ремонта по ОСАГО — журнал За рулем

Российский союз автостраховщиков (РСА) разработал и запустил на своем официальном сайте онлайн-сервис, содержащий сведения о средней стоимости запчастей и цене нормочаса. Для поиска нужно ввести свой экономический район и номер детали. Как поясняют в РСА, сервис дает возможность убедиться, что выплата по ОСАГО рассчитана верно, и тем самым упрощает урегулирование убытков. По данным ЗР, информация в используемых в сервисе справочниках уже устарела, так как не учитывает рост курса валюты.

RSA

Стоимость ремонта автомобилей после ДТП по ОСАГО с 1 декабря 2014 года страховщики рассчитывают по новой схеме — по единым справочникам, в которых заложено более 80 млн позиций и расценки в 12 экономических районах России. Как сообщалось ранее, при составлении справочника учли автомобили 2002 и более поздних лет выпуска, оценка для моделей старше 13 лет должна производиться по среднерыночной цене в регионе.

Новый сервис, запущенный на сайте РСА, разработан согласно распоряжению Банка России, предусматривающему свободный доступ к информации о средней стоимости запасных частей, материалов и нормочаса работ при определении цены восстановительного ремонта по ОСАГО.

По словам президента Российского союза автостраховщиков Игоря Юргенса, которые приводятся в официальном сообщении РСА, система дает автовладельцам возможность проверить правильность расчета страховой выплаты и упрощает процесс урегулирования убытков. Игорь Юргенс подчеркивает, что использование единых справочников позволит устранить ситуации, когда эксперты рассчитывают стоимость ремонта одного и того же пострадавшего в ДТП автомобиля по-разному.

Со своей стороны, РСА доводит до сведения автомобилистов, что с 17 октября 2014 года Единая методика определения размера расходов на восстановительный ремонт в отношении поврежденного транспортного средства и Правила проведения независимой технической экспертизы транспортного средства, утвержденные положениями Банка России от 19 сентября 2014 года (№ 432-П и № 433-П), являются обязательными. Более ранние правовые акты утратили силу и не должны использоваться при определении стоимости ремонта.

Дилеры просят установить более высокие цены на запчасти для расчета ремонта по ОСАГО

Новости РОАД

29.06.2017

Сейчас для расчета ущерба в соответствии с утвержденной ЦБ единой методикой используется справочник Российского союза автостраховщиков (РСА). Но разница между ценами на запчасти в нем и ценами на оригинальные запчасти, которые должны использовать дилеры, может достигать 70%, говорит Мосеев. Предложение РоАД – цены справочника РСА применять для негарантийного ремонта, а для гарантийного сделать еще один.

«Мы провели большой анализ, сравнивали цены в справочниках РСА по единой методике с ценами оригинальных запчастей, где показали сильное расхождение. Отправили это в ЦБ, комитет Госдумы и РСА. Получили обратную связь от ЦБ о том, что они готовы обсуждать эту проблему. И в ближайшее время будет совещание, на которое они позвали нас (…) Мы считаем, что самое простое – выделить отдельно сегмент гарантийных автомобилей. Сделать два справочника к единой методике. Один – для гарантийных, один – для постгарантии», – сказал RNS Мосеев. К обсуждению, по его словам, привлечена, в частности, АСА (автомобильная сервисная ассоциация).

«Данный вопрос неоднократно поднимался РоАД, и он обсуждался на совещаниях с участием руководства РСА и на заседании правления РСА в январе 2017 года, где предложение об использовании при расчете стоимости восстановительного ремонта двух справочников средней стоимости запасных частей не было поддержано. Актуальное предложение РоАД о сегментировании справочника средней стоимости запасных частей поступило в РСА 20 июня 2017 года, и в настоящее время оно находится в стадии проработки», сообщили RNS в пресс-службе РСА.

Согласно принятым в марте изменениям в закон об ОСАГО, ремонт новых автомобилей не старше двух лет должен производиться у официальных дилеров.

Ранее президент РСА Игорь Юргенс допустил снижение цен в справочнике на 16% из-за укрепления рубля и проникновения на рынок запчастей из Китая и Кореи, сообщал «Коммерсант».

Источник: https://news.rambler.ru/auto/37241388/

Определять стоимость ремонта автомобиля (по ОСАГО) без учета износа деталей и по рыночным ценам

Справочники цен на запчасти автомобилей (для выплат по ОСАГО) сейчас формируются и утверждаются профессиональным объединением страховщиков, созданным в соответствии с Федеральным законом «Об обязательном страховании гражданской ответственности владельцев транспортных средств». То есть потенциальные должники сами устанавливают сколько они будут должны заплатить при наступлении страхового случая. Конечно же они — потенциальные должники заинтересованы заплатить как можно меньше, и не заинтересованы в установлении объективных (рыночных) цен, поэтому существенно занижают их. Цены в справочниках РСА не соответствуют тем ценам (ниже), которые фактически складываются на рынке (выше). В справочниках РСА в 90% случаев цена на деталь занижена, и отсутствует информация о том из какого источника (магазина) получена конкретная цена на конкретную деталь. То есть невозможно понять, где потерпевший может приобрести деталь (которая повреждена в ДТП) по цене которая указана в справочнике РСА (в каком магазине).

Практический результат

Возмещение реальных убытков, которые понесет потерпевший.

Передать полномочия по формированию справочников средней стоимости запасных частей от РСА к торгово-промышленным палатам или иным независимым агентствам, либо оставить полномочия за РСА, но при этом справочник цен (который должен находится в общем доступе в сети интернет) должен содержать ссылку на источник информации, откуда данная цена на конкретную деталь была получена (из какого специализированного магазина, название, адрес, телефон). То есть потерпевший должен знать где (в каком магазине) и иметь возможность приобрести деталь по той цене которая указана в справочнике.

РСА разработал единый справочник для ремонта машин

Подсчет ущерба после ДТП станет единым

На сайте РСА появилась информация о запуске справочников средней стоимости для определения расходов на ремонт автомобиля в рамках ОСАГО.

Расчёты стоимости ремонта после аварии, по ОСАГО, будут проводиться по единой методике и по определенным, установленным цена.

С 17 октября Российский союз автостраховщиков при взаимодействии с экспертами разработал методику, которой должны руководствоваться страховщики и их представители, эксперты-техники, экспертные организации, проводящие независимые технические экспертизы, а также судебные эксперты при проведении судебной экспертизы.

Согласно методике, стоимость запасных частей и работ должны браться из единых справочников средней стоимости. Разработкой справочников также занимался Российский союз автостраховщиков, с 30 ноября 2014 они начали свою работу.

В них входит информация о средней стоимости запасных частей, нормо-часов и материалов, разделенных для 12 экономических зон:

Волго-Вятский

Восточно-Сибирский

Дальневосточный

Западно-Сибирский

Калининградский

Поволжский

Северный

Северо-Западный

Северо-Кавказский

Уральский

Центрально-Черноземный

Центральный

Такая тактика с использованием единых справочных материалов РСА позволит избежать неправильных подсчетов различными экспертами стоимости ремонта. Например, совсем недавно стоимость подсчитанного ущерба в рамках одного страхового случая могла отличаться в несколько раз!

Помимо этого, РСА разработало интернет сервис, с помощью которого любой пользователь может получить информацию о приблизительной стоимости запчасти и стоимости нормо-часа, каждый в своем экономическом районе.

Инструкция для справочника РСЯ:

1. В верхнем правом углу выбираем необходимое меню: Запрос средней стоимости запасных частей или Запрос средней стоимости нормо-часа работ

2. Далее выбираем один из 12 экономических районов

3. В следующем поле из выпадающего списка выбираем марку автомобиля

В случае, если Вы выбрали «Запрос средней стоимости запчастей» система попросит Вас ввести номер детали из каталога. После заполнения всех полей и нажатия кнопки «Поиск» Вам будет выдан результат по средней стоимости запчасти.

При выборе «Запрос средней стоимости нормо-часа работ» Вам соответственно будет выдан наглядный результат по цене проводимых автослесарных работ.

Справочники содержат более 80 млн. позиций по моделям и маркам с 2002 года. Тем чьи автомобиля в список РСА не попали подсчет стоимости деталей будет проводится по старой методике, средней цене по рынку.

01.03.2019 А что, так можно было? Суд взыскал выплату по ОСАГО не по справочникам РСА

Управление Федеральной антимонопольной службы (УФАС) по Республике Татарстан выдало Российскому союзу автостраховщиков (РСА) предписание, в котором обвинило союз в использовании доминирующего положения на рынке ОСАГО и занижении цен в справочниках запчастей и нормо-часов, применяемых для расчета выплат. УФАС указало, что в справочниках реальные рыночные цены на запчасти занижены в среднем на 30%, на материалы – на 25%. В марте 2018 г. Верховный суд РФ поддержал данное предписание, обязав РСА устранить нарушение (необоснованно заниженные цены в справочниках).

В Татарстанском УФАС АСН официально подтвердили, что актуализированные с учетом решения Верховного суда справочники должны применяться по страховым случаям «за период с 2016 по 2018 гг.». По данным РСА, за 2018 г. российские страховщики урегулировали 2,1 млн страховых случаев в сфере ОСАГО. В 2016 и 2017 гг. было урегулировано по 2,4 млн страховых случаев. 

Вообще без справочников

АСН удалось обнаружить решение суда, который с учетом позиции Верховного суда по спору УФАС с РСА постановил взыскать со страховой компании выплату по ОСАГО, рассчитанную по рыночной стоимости ремонта без использования справочников РСА.

Минераловодский городской суд Ставропольского края в мае 2018 г. взыскал с «РЕСО-Гарантии» в пользу физлица 96 тыс. р. недоплаченной части страхового возмещения, 30 тыс. р. штрафа, 3 тыс. р. компенсации морального вреда и судебные издержки на представителя и оценщика. Спор потребителя со страховой компанией возник из-за оценки затрат на восстановительный ремонт автомобиля «КИА Церато», попавшего в ДТП на федеральной дороге «Кавказ».

В суде потребитель указал на предписание Татарстанского УФАС, поддержанное Верховным судом РФ. Он обратил внимание на то, что справочники РСА на момент судебных споров (май 2018 г.) не были сформированы «в строгом соответствии с Положением о единой методике». В связи с этим истец попросил вернуть экспертизу на доработку «с учетом износа заменяемых деталей на день ДТП, на основании Единой методики, но без использования справочника РСА».

Судья Иван Казанчев удовлетворил это ходатайство. В итоге с «РЕСО-Гарантии» взыскали недоплату, решение вступило в законную силу.

«Это революционное решение»

«Это революционное решение. При таком подходе Единая методика вообще ставится под сомнение. Нужно все пересматривать. Любое увеличение покрытия в страховании влечет за собой увеличение страхового тарифа», – заявил АСН руководитель управления методологии обязательных видов страхования компании «АльфаСтрахование» Денис Макаров, комментируя вердикт Минераловодского горсуда.

Изменение подхода к расчету размера ущерба по ОСАГО означает увеличение страхового покрытия по данному виду страхования, отмечает он: «В рамках действующего ценового коридора в ОСАГО это приведет к тому, что многие компании после изменения судебной практики поднимут цены, и заплатит конечный потребитель».

«Очень интересное дело»

Юрист Ольга Курзина считает решение Минераловодского горсуда «действительно интересным». «Наконец-то суды первой инстанции начали понимать, что методика и справочники – это не одно и то же. И суд назначил экспертизу по Единой методике, без справочников РСА, что я считаю совершенно справедливым», – говорит она. Ольга Курзина также подчеркнула, что до решения Верховного суда суды ориентировались исключительно на цены из справочников РСА – вне зависимости от того, сколько стоит запчасть. «Теперь ситуация немного меняется, но, к сожалению, таких решений очень мало», – говорит она.

Пока – единичные случаи

Мониторинга количества обратившихся с подобными исками Татарстанское УФАС не ведет. Однако примерно в 20 случаях ведомство привлекалось к подобным делам качестве третьего лица. Решения о перерасчете есть, но предоставить их в силу закона о персональных данных антимонопольный орган не вправе, указали в пресс-службе УФАС в ответ на запрос АСН. 

В РСА отметили, что иски на основе предписания УФАС носят единичный характер. Суды крайне редко делают выводы, подобные Минераловодскому суду, указывают в союзе.

В «АльфаСтраховании» сообщили, что массовости подобных исков к компании нет, есть «несколько решений не в пользу страховщика, но все они обжалуются».

«Ингосстрах» с подобными претензиями не сталкивался, но следит за развитием ситуации.

В «Росгосстрахе» (компания в 2016 г. занимала около 28% рынка ОСАГО, в 2017 г. доля упала с 25% до 10%) предпочли не комментировать ситуацию. 

К «РЕСО-Гарантии» были и иные подобные иски, сообщили АСН в компании, по ним были приняты «как положительные, так и отрицательные решения». 

Страховщики против

Юристы «РЕСО-Гарантии» отрицательно относятся к описанной позиции суда. Применение справочника не может рассматриваться в отрыве от методики, за исключением случаев, предусмотренных самой методикой, заявил АСН заместитель гендиректора «РЕСО-Гарантии» Игорь Иванов.

Использование судами рыночной стоимости в обоснование расчета восстановительного ремонта транспортного средства – это прямое нарушение действующего законодательства (закона об ОСАГО и положения ЦБ о Единой методике). При определении стоимости запасных частей подлежат применению только сведения, содержащиеся в справочнике РСА, указывает директор юридического департамента «Ингосстраха» Татьяна Комарова.

Позиция «АльфаСтрахования» строится на том, что по закону об ОСАГО «мы обязаны использовать справочники РСА и Единую методику, поэтому с нашей стороны нарушений нет», – заявила АСН руководитель направления юридической поддержки департамента страховых выплат АО «АльфаСтрахование» Екатерина Кузичева.

В «АльфаСтраховании» прокомментировали и позицию УФАС о необходимости применения скорректированных в соответствии с решением Верховного суда справочников по страховым случаям «за период с 2016 по 2018 гг.». «Данные обязательства в таком объеме не могли быть зарезервированы страховыми компаниями. Пересмотр резервов под обязательства страховщиков, в разы превышающие выплаты прошлых периодов, означает для некоторых компаний банкротство, а для некоторых – снижение рентабельности до отрицательной. ОСАГО станет опять проблемной зоной для автовладельцев, снизится активность по продаже данного вида страхования, могут возникнуть проблемы с доступностью», – говорит руководитель управления методологии обязательных видов страхования Денис Макаров.

В РСА АСН заявили, что закон обратной силы не имеет, поэтому данные новых справочников «задним числом» применяться не могут. В то же время РСА в начале февраля предложил расширить действие новых справочников на ДТП, произошедшие ранее, но заявленные после 1 декабря 2018 г. – с даты актуализации справочников. «Мы пока не получили ответа от УФАС по Республике Татарстан на это предложение», – сообщили в РСА. 

ВС признал незаконными справочники о стоимости деталей по ОСАГО

Управление Федеральной антимонопольной службы (УФАС) по Татарстану в 2016 году признало РСА нарушителем ч. 1 ст. 10 Закона о конкуренции (злоупотребление доминирующим положением). Антимонопольщики пришли к выводу, что справочники стоимости материалов и работ при восстановительном ремонте, которые составляет РСА и применяют в своей деятельности страховые компании, не соответствуют правилам Центробанка. Антимонопольщики также заявили, что цены, указанные в справочнике, намного ниже, чем таковые у официальных дилеров и на сайте exist.ru.

РСА оспорил решение УФАС в судебном порядке. Первая инстанция не нашла нарушений в действиях антимонопольщиков, зато нашла апелляция (дело № А65-16238/2016). Судьи 11-й ААС указали, что РСА в рамках своей деятельности не оказывает страховые услуги. Кроме того, организация составляет справочники в соответствии с прямым властным указанием Центробанка, а значит, такая деятельность не может считаться предпринимательской, и поэтому Союз нельзя привлечь за нарушение закона о конкуренции. 

Суд также отклонил довод антимонопольщиков о том, что РСА занимает доминирующее положение на рынке подобных справочников, и указал, что доминирующее положение на соответствующем рынке не может возникнуть вне связи с осуществлением предпринимательской деятельности. С этим согласился и суд округа. 

В своей жалобе в Верховный суд антимонопольный орган указывает, что РСА составил справочники неправильно – без соблюдения единой методики ЦБ. Наличие недостоверных сведений о стоимости восстановительного ремонта в Справочниках подтверждается позицией Российского федерального центра судебной экспертизы при Минюсте, который рекомендовал региональным центрам судэкспертиз не использовать Справочники, в которых отсутствуют ссылки на источники информации либо цены в которых отличаются более чем на 10% от цен в соответствующем регионе. 

К этим доводам УФАС прислушалась экономколлегия, которая отменила судебные акты апелляции и кассации и «засилила» решение первой инстанции. ВС пришел к выводу о доминирующем положении РСА на рынке услуг ОСАГО в качестве коллективного представителя интересов страховщиков и признал правоту действий антимонопольщиков при квалификации действий организации. Таким образом, ВС признал Справочники РСА незаконными, и Союзу придется переделать их с учетом методик ЦБ. 

обзор и последние разработки

(a) Анализ главных компонентов как исследовательский инструмент для анализа данных

Стандартный контекст для PCA как исследовательского инструмента анализа данных включает набор данных с наблюдениями на p числовых переменных для каждой из n юридических или физических лиц. Эти значения данных определяют p n -мерных векторов x ₁ ,…, x _p или, что то же самое, матрицы данных n × p X , чей j -й столбец является вектором x _j наблюдений над переменной j th.Ищем линейную комбинацию столбцов матрицы X с максимальной дисперсией. Такие линейные комбинации задаются формулой, где a — вектор констант a ₁ , a ₂ ,…, a _p . Дисперсия любой такой линейной комбинации определяется как var ( X a ) = a ‘ S a , где S — это выборочная ковариационная матрица, связанная с набором данных, а’ обозначает транспонирование.Следовательно, определение линейной комбинации с максимальной дисперсией эквивалентно получению p -мерного вектора a , который максимизирует квадратичную форму a ‘ S a . Чтобы эта проблема имела четко определенное решение, необходимо наложить дополнительное ограничение, и наиболее распространенное ограничение связано с работой с векторами единичной нормы, то есть требуя a ′ a = 1. Задача эквивалентна максимизации a ′ S a — λ ( a ′ a −1), где λ — множитель Лагранжа.Дифференцирование относительно вектора a и приравнивание к нулевому вектору дает уравнение

2,1

Таким образом, a должен быть (единичная норма) собственным вектором, а λ — соответствующим собственным значением ковариационной матрицы S . В частности, нас интересует наибольшее собственное значение , λ ₁ (и соответствующий собственный вектор a ₁ ), поскольку собственные значения представляют собой дисперсии линейных комбинаций, определяемых соответствующим собственным вектором a : var ( X a ) = a ′ S a = λ a ′ a = λ .Уравнение (2.1) остается в силе, если собственные векторы умножаются на -1, и поэтому знаки всех нагрузок (и оценок) являются произвольными, и только их относительные величины и образцы знаков имеют смысл.

Любая p × p вещественная симметричная матрица, такая как ковариационная матрица S , имеет ровно p действительных собственных значений, λ _k ( k = 1,…, p ), и их соответствующие собственные векторы могут быть определены для формирования ортонормированного набора векторов, т.е.е. a ′ _k a _{k ′} = 1, если k = k ′, и ноль в противном случае. Подход с использованием множителей Лагранжа с дополнительными ограничениями на ортогональность различных векторов коэффициентов также можно использовать, чтобы показать, что полный набор собственных векторов S является решением проблемы получения до p новых линейных комбинаций, которые последовательно максимизировать дисперсию при условии некоррелированности с предыдущими линейными комбинациями [4].Некоррелированность возникает из-за того, что ковариация между двумя такими линейными комбинациями, X a _k и X a _{k ′} , определяется как a ′ _{k ′} S a _k = λ _k a ′ _{k ′} a _k = 0, если k ′ ≠ k .

Именно эти линейные комбинации X a _k называются главными компонентами набора данных, хотя некоторые авторы по ошибке также используют термин «главные компоненты», когда ссылаются на собственные векторы a . _к . В стандартной терминологии PCA элементы собственных векторов a _k обычно называются загрузками ПК , тогда как элементы линейных комбинаций X a _k называются ПК. набирает , так как это значения, которые каждый человек мог бы получить на данном ПК.

В стандартном подходе принято определять ПК как линейные комбинации центрированных переменных x * _j , с общим элементом, где обозначает среднее значение наблюдений по переменной j . Это соглашение не меняет решения (кроме центрирования), поскольку ковариационная матрица набора центрированных или нецентрированных переменных одинакова, но имеет то преимущество, что обеспечивает прямую связь с альтернативным, более геометрическим подходом к PCA.

Обозначив X * матрицу n × p , столбцы которой являются центрированными переменными x * _j , мы имеем

2,2

Уравнение (2.2) связывает собственное разложение ковариационной матрицы S с разложением по сингулярным значениям матрицы данных с центрированием по столбцам X *. Можно записать любую произвольную матрицу Y размерности n × p и ранга r (обязательно) (например,грамм. [4]) как

2.3

, где U , A — это матрицы n × r и p × r с ортонормированными столбцами ( U ′ U = I _r = A ′ A , с I _r единичная матрица r × r ) и L — это диагональная матрица r × r . Столбцы A называются правыми сингулярными векторами Y и являются собственными векторами матрицы p × p Y ′ Y , связанной с ее ненулевыми собственными значениями.Столбцы U называются левыми сингулярными векторами Y и являются собственными векторами матрицы n × n Y Y ′, которые соответствуют ее ненулевым собственным значениям. Диагональные элементы матрицы L называются сингулярными значениями Y и являются неотрицательными квадратными корнями из (общих) ненулевых собственных значений как матрицы Y ′ Y , так и матрицы Y Y ′. Мы предполагаем, что диагональные элементы L расположены в порядке убывания, и это однозначно определяет порядок столбцов U и A (за исключением случая одинаковых сингулярных значений [4]).Следовательно, принимая Y = X *, правые сингулярные векторы матрицы данных с центрированием по столбцам X * являются векторами a _k загрузок ПК. Из-за ортогональности столбцов A , столбцы матричного продукта X * A = ULA ′ A = UL являются ПК X *. Дисперсии этих ПК представлены квадратами сингулярных значений X *, деленных на n −1.Эквивалентно, учитывая (2.2) и указанные выше свойства,

2,4

, где L ² — диагональная матрица с возведенными в квадрат сингулярными значениями (т. Е. Собственными значениями ( n −1) S ). Уравнение (2.4) дает спектральное разложение или собственное разложение матрицы ( n −1) S . Следовательно, PCA эквивалентен SVD матрицы данных с центром по столбцам X *.

Свойства SVD предполагают интересные геометрические интерпретации PCA.Для любого ранга r матрицы Y размера n × p матрица Y _q того же размера, но ранга q < r , элементы которой минимизируют сумма квадратов разностей с соответствующими элементами Y определяется [7] как

2,5

где L _q — диагональная матрица q × q диагональная матрица с первым (наибольшим) q диагональных элементов L и U _q , A _q — это матрицы n × q и p × q , полученные путем сохранения соответствующих столбцов q в U и A .

В нашем контексте n строк ранга r столбцовой матрицы данных X * определяют диаграмму рассеяния n точек в r -мерном подпространстве, с центром в центре силы тяжести диаграммы рассеяния. Приведенный выше результат подразумевает, что « наилучшее » приближение n точек к этой диаграмме рассеяния в подпространстве q -мерного пространства задается строками X * _q , определенными как в уравнении (2 .5), где «лучший» означает, что сумма квадратов расстояний между соответствующими точками на каждой диаграмме рассеяния минимизирована, как в оригинальном подходе Пирсона [1]. Система из q осей в этом представлении задается первыми q ПК и определяет главное подпространство . Следовательно, PCA — это, по сути, метод уменьшения размерности, посредством которого набор из p исходных переменных может быть заменен оптимальным набором из q производных переменных, ПК.Когда q = 2 или q = 3, возможна графическая аппроксимация диаграммы рассеяния n точек, которая часто используется для начального визуального представления всего набора данных. Важно отметить, что этот результат является инкрементным (следовательно, адаптивным) по своим размерам, в том смысле, что лучшее подпространство размерности q +1 получается путем добавления дополнительного столбца координат к тем, которые определяют наилучшие q -размерное решение.

Качество любой аппроксимации размеров q можно измерить по изменчивости, связанной с набором сохраненных ПК.Фактически, сумма дисперсий исходных переменных p является следом (суммой диагональных элементов) ковариационной матрицы S . Используя результаты простой теории матриц, легко показать, что это значение также является суммой дисперсий всех p ПК. Следовательно, стандартным показателем качества данного ПК является доля от общей дисперсии , которую он составляет,

2,6

где tr ( S ) обозначает след S .Инкрементальный характер ПК также означает, что мы можем говорить о доле общей дисперсии, объясняемой набором ПК (обычно, но не обязательно, первые на ПК), которая часто выражается как процентов от общей дисперсии. приходилось: .

Обычной практикой является использование некоторого предопределенного процента от общей дисперсии, объясненной, чтобы решить, сколько ПК должно быть сохранено (70% общей изменчивости является общей, если субъективной, точкой отсечения), хотя требования графического представления часто приводят к к использованию только первых двух или трех ПК.Даже в таких ситуациях процент от общей учтенной дисперсии является фундаментальным инструментом для оценки качества этих низкоразмерных графических представлений набора данных. Акцент в PCA почти всегда делается на первых нескольких ПК, но есть обстоятельства, при которых последние несколько могут представлять интерес, например, при обнаружении выбросов [4] или некоторых приложениях анализа изображений (см. §3c).

ПК также могут быть предложены как оптимальное решение множества других проблем. Критерии оптимальности для PCA подробно обсуждаются в многочисленных источниках (см., Среди прочего, [4,8,9]).МакКейб [10] использует некоторые из этих критериев для выбора оптимальных подмножеств исходных переменных, которые он называет основных переменных . Это другая, более сложная в вычислительном отношении проблема [11].

(b) Пример: данные по ископаемым зубам

PCA был применен и признан полезным во многих дисциплинах. Два примера, рассмотренные здесь и в § 3b, очень различаются по своей природе. В первом изучается набор данных, состоящий из девяти измерений 88 окаменелых зубов раннего насекомоядного млекопитающего Kuehneotherium, а второй в § 3b взят из атмосферных наук.

Kuehneotherium — одно из самых ранних млекопитающих, останки которого были обнаружены во время добычи известняка в Южном Уэльсе, Великобритания [12]. Кости и зубы были вымыты в трещины в скале около 200 миллионов лет назад, и все нижние коренные зубы, использованные в этом анализе, взяты из одной трещины. Однако казалось возможным, что в образце присутствовали зубы более чем одного вида Kuehneotherium.

Из девяти переменных три измеряют параметры длины зуба, а остальные шесть — измерения, связанные с высотой и шириной.PCA был выполнен с использованием команды prcomp статистического программного обеспечения R [13]. На первые два ПК приходится 78,8% и 16,7%, соответственно, от общего разброса в наборе данных, поэтому двумерная диаграмма рассеяния для 88 зубов, представленная на рисунке, является очень хорошим приближением к исходной диаграмме рассеяния для девяти зубов. пространственное пространство. Это, по определению, лучший двумерный график данных с сохранением дисперсии, представляющий более 95% общей вариации. Все загрузки на первом ПК имеют один и тот же знак, поэтому это средневзвешенное значение всех переменных, представляющее «общий размер».В России большие зубы находятся слева, а маленькие — справа. Второй ПК имеет отрицательные нагрузки для трех переменных длины и положительные нагрузки для других шести переменных, что представляет собой аспект «формы» зубов. Окаменелости в верхней части имеют меньшую длину по сравнению с их высотой и шириной, чем в нижней части. Относительно компактный кластер точек в нижней половине, как полагают, соответствует виду Kuehneotherium, тогда как более широкая группа вверху не может быть отнесена к Kuehneotherium, а к некоторым родственным, но пока не идентифицированным животным.

Двумерное главное подпространство для данных ископаемых зубов. Координаты на одном или обоих компьютерах могут переключаться между знаками при использовании другого программного обеспечения.

(c) Некоторые ключевые вопросы

(i) Анализ главных компонентов ковариационной и корреляционной матрицы

До сих пор ПК были представлены как линейные комбинации (центрированных) исходных переменных. Однако свойства PCA имеют некоторые нежелательные особенности, когда эти переменные имеют разные единицы измерения.Хотя со строго математической точки зрения нет ничего принципиально неправильного в линейных комбинациях переменных с разными единицами измерения (их использование широко распространено, например, в линейной регрессии), тот факт, что PCA определяется критерием (дисперсия ), который зависит от единиц измерения, подразумевает, что ПК, основанные на ковариационной матрице S , изменятся, если единицы измерения одной или нескольких переменных изменятся (если только не все p переменных претерпевают общее изменение масштаба , и в этом случае новая ковариационная матрица является просто скалярным кратным старой, следовательно, с теми же собственными векторами и той же долей общей дисперсии, объясняемой каждым ПК).Чтобы преодолеть эту нежелательную особенность, обычно начинают со стандартизации переменных. Каждое значение данных x _ij центрируется и делится на стандартное отклонение с _j из n наблюдений переменной j ,

2,7

Таким образом, матрица исходных данных X заменяется стандартизированной матрицей данных Z , чей j -й столбец является вектором z _j с n стандартизированными наблюдениями переменной. Дж (2.7). Стандартизация полезна, потому что большинство изменений масштаба — это линейные преобразования данных, которые используют один и тот же набор стандартизованных значений данных.

Поскольку ковариационная матрица стандартизованного набора данных является просто корреляционной матрицей R исходного набора данных, PCA стандартизированных данных также известен как PCA корреляционной матрицы. Собственные векторы a _k корреляционной матрицы R определяют некоррелированные линейные комбинации максимальной дисперсии стандартизованных переменных z ₁ ,…, z _p .Такие ПК с корреляционной матрицей не идентичны и не связаны напрямую с ранее определенными ПК ковариационной матрицы . Кроме того, процентное отклонение, учитываемое каждым ПК, будет отличаться, и довольно часто требуется больше ПК корреляционной матрицы, чем ПК ковариационной матрицы, чтобы учесть один и тот же процент общей дисперсии. След корреляционной матрицы R — это просто число p переменных, используемых в анализе, следовательно, доля общей дисперсии, приходящаяся на любую PC корреляционной матрицы, представляет собой просто дисперсию этого PC, деленную на p .Подход SVD также применим в этом контексте. Поскольку ( n -1) R = Z ′ Z , SVD стандартизированной матрицы данных Z составляет корреляционную матрицу PCA набора данных в соответствии со строками, описанными после уравнения (2.2).

ПК с корреляционной матрицей инвариантны к линейным изменениям единиц измерения и поэтому являются подходящим выбором для наборов данных, где для каждой переменной возможны различные изменения масштаба.Некоторое статистическое программное обеспечение по умолчанию предполагает, что PCA означает PCA корреляционной матрицы и, в некоторых случаях, нормализация, используемая для векторов нагрузок a _k ПК с корреляционной матрицей, не является стандартной a ′ _k a _k = 1. В корреляционной матрице PCA коэффициент корреляции между переменной j -й и k -й PC равен (см. [4])

2.8

Таким образом, если нормализация используется вместо a ′ _k a = 1, коэффициенты новых векторов нагрузки являются корреляциями между каждой исходной переменной и k -м ПК.

В данных об ископаемых зубах в § 2b все девять измерений даны в одних и тех же единицах, поэтому ковариационная матрица PCA имеет смысл. Корреляционная матрица PCA дает аналогичные результаты, поскольку дисперсии исходной переменной не сильно различаются.На первые две корреляционные матрицы ПК приходится 93,7% общей дисперсии. Для других наборов данных различия могут быть более существенными.

(ii) Двойные графики

Одним из наиболее информативных графических представлений многомерного набора данных является двоичный график [14], который фундаментально связан с SVD соответствующей матрицы данных и, следовательно, с PCA. Ранг q приближение X * _q полной матрицы данных с центром по столбцам X *, определенной формулой (2.5), записывается как X * _q = GH ′, где G = U _q и H = A _q L _q (хотя возможны и другие варианты, см. [4]). n строк g _i матрицы G определяют графические маркеры для каждого человека, которые обычно представлены точками. p строк h _j матрицы H определяют маркеры для каждой переменной и обычно представлены векторами.Свойства двумерного графика лучше всего обсуждать, предполагая, что q = p , хотя двунаправленный график определяется с помощью приближения низкого ранга (обычно q = 2), что позволяет графическое представление маркеров. Когда q = p двумерная диаграмма имеет следующие свойства:

• — Косинус угла между любыми двумя векторами, представляющими переменные, является коэффициентом корреляции между этими переменными; это прямой результат того факта, что матрица внутренних продуктов между этими маркерами имеет вид HH ′ = AL ² A ′ = ( n −1) S (2.4), так что скалярные произведения между векторами пропорциональны ковариациям (дисперсиям для общего вектора).

• — Точно так же косинус угла между любым вектором, представляющим переменную, и осью, представляющей данный ПК, является коэффициентом корреляции между этими двумя переменными.

• — Внутреннее произведение между маркерами для индивидуального i и переменной j дает (центрированное) значение индивидуального i по переменной j .Это прямой результат того факта, что GH ′ = X *. Практическое значение этого результата состоит в том, что ортогональное проецирование точки, представляющей человека i , на вектор, представляющий переменную j , восстанавливает (центрированное) значение.

• — Евклидово расстояние между маркерами для индивидов i и i ′ пропорционально расстоянию Махаланобиса между ними (подробнее см. [4]).

Как указано выше, эти результаты являются точными только в том случае, если используются все размеры q = p .Для q < p результаты являются всего лишь приблизительными, и общее качество таких приближений можно измерить процентным соотношением дисперсии, объясненной ПК с наибольшей дисперсией q , которые использовались для построения матриц маркеров G и H .

дает двумерный график для корреляционной матрицы PCA данных ископаемых зубов из § 2b. Маркеры переменных отображаются в виде стрелок, а маркеры зубов — в виде чисел. Группа из трех почти горизонтальных и очень тесно связанных переменных-маркеров для двух переменных ширины и одной переменной высоты, WIDTH , HTMDT и TRIWIDTH , предлагает группу сильно коррелированных переменных, которые также сильно коррелированы с первым ПК. (представлен горизонтальной осью).Очень высокая доля изменчивости, объясняемая двумерным главным подпространством, дает веские основания для этих выводов. Фактически, наименьший из трех истинных коэффициентов корреляции между этими тремя переменными составляет 0,944 ( HTMDT и TRIWIDTH ), а наименьшая корреляция между PC1 и любой из этих переменных составляет 0,960 ( TRIWIDTH ). Разница знаков в нагрузках PC2 между тремя переменными длины (в нижнем левом углу графика) и другими переменными четко видна.Проецирование маркера для индивидуума 58 на положительные направления всех переменных маркеров предполагает, что ископаемый зуб 58 (слева от двунаправленной диаграммы) является большим зубом. Проверка матрицы данных подтверждает, что это самый крупный индивид по шести из девяти переменных и близкий к самому большому по оставшимся трем. Точно так же у людей 85–88 (справа) зубы небольшого размера. Лица, маркеры которых близки к исходной точке, имеют значения, близкие к среднему для всех переменных.

Биплот для данных ископаемых зубов (корреляционная матрица PCA), полученный с помощью команды R’s biplot .(Онлайн-версия в цвете.)

(iii) Centrings

Как было показано в § 2, PCA представляет собой SVD матрицы данных с центром в столбцах. В некоторых приложениях [15] центрирование столбцов матрицы данных может считаться неуместным. В таких ситуациях может быть предпочтительным избежать любой предварительной обработки данных и подвергнуть матрицу нецентрированных данных SVD или, что эквивалентно, выполнить собственное разложение матрицы нецентрированных секундных моментов, T , чьи собственные векторы определяют линейные комбинации нецентрированных переменных.Его часто называют нецентрированным PCA , и в некоторых областях была неудачная тенденция приравнивать имя SVD только к этой нецентрированной версии PCA.

Нецентральные ПК представляют собой линейные комбинации нецентрированных переменных, которые последовательно максимизируют нецентральные вторые моменты, при условии, что их пересекающиеся нецентральные вторые моменты равны нулю. За исключением случаев, когда средний вектор столбца (т.е. центр тяжести исходной диаграммы рассеяния n точек в p -мерном пространстве) близок к нулю (в этом случае центрированный и нецентрированный моменты подобны), это не сразу интуитивно понятно. что между обоими вариантами PCA должно быть сходство.Cadima и Jolliffe [15] исследовали отношения между стандартным (центрированным по столбцам) PCA и нецентрированным PCA и обнаружили, что они ближе, чем можно было ожидать, в частности, когда размер вектора большой. Часто бывает, что существует большое сходство между многими собственными векторами и (абсолютными) собственными значениями ковариационной матрицы S и соответствующей матрицы нецентрированных вторых моментов, T .

В некоторых приложениях подходящим считалось центрирование строк или центрирование строк и столбцов (известное как двойное центрирование) матрицы данных.SVD таких матриц приводят к центрированным по строкам и дважды центрированным PCA , соответственно.

(iv) Когда

  соединения атом. Без точки плавления
AIN 10 498,0
AIP 14 625.0
ОИА 23 1011.5
... ... ...
  

  # install.packages ('gsheet')
библиотека (gsheet)
dat <- read.csv (url ("https://raw.githubusercontent.com/RIntehibited/DATASETS/gh-pages/semiconductors.csv"))
colnames (dat) [2] <- "atomic.no"
dat1 <- подмножество (dat [1: 15,1: 3])
строка.имена (dat1) <- dat1 $ соединения
dat1 <- dat1 [, - 1]
  

  X <- применить (dat1, 2, function (x) (x - mean (x)) / sd (x))
# Это центрирует точки данных вокруг среднего значения и стандартизирует их путем деления на SD.
# Это эквивалент `X <- scale (dat1, center = T, scale = T)`
  

  C <- cov (X) # Матрица ковариации (центрированные данные)
  

  lambda <- eigen (C) $ values ​​# Собственные значения
lambda_matrix <- diag (2) * eigen (C) $ values ​​# Матрица собственных значений
  

  e_vectors <- eigen (C) $ vectors # Собственные векторы
  

  e_vectors [, 1] = - e_vectors [, 1]; colnames (e_vectors) <- c ("ПК1", "ПК2")
  

  матрица_счетов <- X% *% e_vectors
# Идентично часто встречающейся операции: t (t (e_vectors)% *% t (X))
  

 > применить (матрица_счетов, 2, функция (x) var (x))
       ПК1 ПК2
1,2964217 0,7035783
> лямбда
[1] 1,2964217 0,7035783
  

  # Для МАТРИЦЫ ОЦЕНКИ:
  prcomp (X) $ x
# или же.2
оценки <-scale (dat1)% *% eigen_vectors
  

  PCA <- prcomp (dat1, center = T, scale = T)
PCA $ ротация
                    ПК1 ПК2
атомный.нет 0.7071068 0.7071068
точка плавления 0,7071068 -0,7071068
  

 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.предварительная обработка импорт StandardScaler из sklearn.decomposition import PCA, KernelPCA из sklearn.utils import extmath 

 def pca (X, n_components = 2): # Предварительная обработка - Стандартный масштабатор X_std = StandardScaler (). Fit_transform (X) # Расчет ковариационной матрицы cov_mat = np.cov (X_std.T) # Получение собственных значений и собственных векторов eig_val , eig_vecs = np.linalg.eigh (cov_mat) # перевернуть знак собственных векторов, чтобы обеспечить детерминированный вывод eig_vecs, _ = extmath.svd_flip (eig_vecs, np.empty_like (eig_vecs) .T) # Объедините собственные векторы, соответствующие наивысшим собственным значениям n_components matrix_w = np.column_stack ([eig_vecs [:, - i] для i в диапазоне (1, n_components + 1)]) # Получить сокращенные данные PCA Xpca = X_std.dot (matrix_w) return Xpca 

 data = pd.read_csv ('../ data / plums.csv') X = data.values ​​[:, 1:] Xstd = StandardScaler (). Fit_transform (X) 

 # Scikit-learn PCA pca1 = PCA (n_components = 2) Xpca1 = pca1.fit_transform (X) # Наша реализация Xpca2 = pca (X, n_components = 2) с plt.style.context (('ggplot')): fig, ax = plt.subplots (1, 2, figsize = (14, 6)) # plt.figure (figsize = (8,6)) ax [0] .scatter (Xpca1 [:, 0], Xpca1 [:, 1], s = 100, edgecolors = 'k') ax [0] .set_xlabel ('PC 1') ax [0] .set_ylabel ('PC 2') ax [0] .set_title ('Scikit learn') ax [1] .scatter (Xpca2 [:, 0], Xpca2 [:, 1], s = 100, facecolor = 'b', edgecolors = 'k') ax [ 1] .set_xlabel ('PC 1') ax [1] .set_ylabel ('PC 2') ax [1] .set_title ('Наша реализация') plt.show () 

 def ker_pca (X, n_components = 3, gamma = 0.01): # Вычислить евклидовы расстояния каждой пары точек в наборе данных dist = euclidean_distances (X, X, в квадрате = True) # Вычислить матрицу ядра Гаусса K = np.exp (-gamma * dist) Kc = KernelCenterer (). fit_transform (K) # Получить собственные значения и собственные векторы матрицы ядра eig_val, eig_vecs = np.linalg.eigh (Kc) # перевернуть знак собственных векторов для принудительного детерминированного вывода eig_vecs, _ = extmath.svd_flip (eig_vecs, np.empty_like (eig_vecs) .T) # Объединить собственные векторы, соответствующие наивысшим собственным значениям n_components Xkcolpca_stack (np) [eig_vecs [:, - i] для i в диапазоне (1, n_components + 1)]) return Xkpca 

 kpca1 = KernelPCA (n_components = 3, kernel = 'rbf', gamma = 0.01) Xkpca1 = kpca1.fit_transform (Xstd) Xkpca2 = ker_pca (Xstd) с plt.style.context (('ggplot')): fig, ax = plt.subplots (1, 2, figsize = (14, 6)) # plt.figure (figsize = (8,6)) ax [0] .scatter (Xkpca1 [:, 0], Xkpca1 [:, 1], s = 100, edgecolors = 'k') ax [0] .set_xlabel ('PC 1') ax [0] .set_ylabel ('PC 2') ax [0] .set_title ('Scikit learn') ax [1] .scatter (Xkpca2 [:, 0], Xkpca2 [:, 1] , s = 100, facecolor = 'b', edgecolors = 'k') ax [1] .set_xlabel ('PC 1') ax [1] .set_ylabel ('PC 2') ax [1].set_title ('Наша реализация') plt.show () 

  импортировать numpy как np
от scipy.linalg import svd

shape = (26424, 144)
повторить = 20
pca_components = 2

данные = np.array (np.random.randint (255, размер = форма)). astype ('float64')

# нормализация данных
# data.dot (data.T)
# (U, s, Va) = svd (data, full_matrices = False)
# data = data / s [0]

из fbpca import diffsnorm
from timeit импортировать default_timer как таймер

из scipy.linalg import svd
start = timer ()
для я в диапазоне (повторить):
    (U, s, Va) = svd (data, full_matrices = False)
time = timer () - запуск
err = diffsnorm (данные, U, s, Va)
print ('svd time:%.3fms, ошибка:% E '% (время * 1000 / повтор, ошибка))


из matplotlib.mlab импортировать PCA
start = timer ()
_pca = PCA (данные)
для я в диапазоне (повторить):
    U = _pca.project (данные)
time = timer () - запуск
err = diffsnorm (данные, U, _pca.fracs, _pca.Wt)
print ('matplotlib PCA time:% .3fms, error:% E'% (time * 1000 / repeat, err))

из fbpca import pca
start = timer ()
для я в диапазоне (повторить):
    (U, s, Va) = pca (данные, pca_components, True)
time = timer () - запуск
err = diffsnorm (данные, U, s, Va)
print ('facebook pca time:% .3fms, error:% E'% (time * 1000 / repeat, err))


из склеарна.декомпозиция импорта PCA
start = timer ()
_pca = PCA (n_components = pca_components)
_pca.fit (данные)
для я в диапазоне (повторить):
    U = _pca.transform (данные)
time = timer () - запуск
err = diffsnorm (данные, U, _pca.explained_variance_, _pca.components_)
print ('sklearn PCA time:% .3fms, error:% E'% (time * 1000 / repeat, err))

start = timer ()
для я в диапазоне (повторить):
    (U, s, Va) = pca_mark (данные, pca_components)
time = timer () - запуск
err = diffsnorm (данные, U, s, Va.T)
print ('pca по времени отметки:% .3fms, ошибка:% E'% (время * 1000 / повтор, ошибка))

start = timer ()
для я в диапазоне (повторить):
    (U, s, Va) = pca_doug (данные, pca_components)
time = timer () - запуск
err = diffsnorm (данные, U, s [: pca_components], Va.Т)
print ('pca по времени обработки:% .3fms, ошибка:% E'% (время * 1000 / повтор, ошибка))
  

  время свд: 3212.228 мс, ошибка: 1.0E-10
matplotlib Время PCA: 879,210 мс, ошибка: 2.478853E + 05
facebook pca time: 485.483ms, ошибка: 1.260335E + 04
sklearn Время PCA: 169,832 мс, ошибка: 7,469847E + 07
pca по времени Марка: 293,758 мс, ошибка: 1,713129E + 02
pca от doug time: 300.326ms, ошибка: 1.707492E + 02