Узнать комплектацию машины по вин коду: Проверка комплектации авто по VIN коду

Прогнозирование качества вина с помощью нескольких методов классификации | Теренс Шин

Сначала я импортировал все соответствующие библиотеки, которые я буду использовать, а также сами данные.

Импорт библиотек

 import numpy as np 
 import pandas as pd 
 import matplotlib as plt 
 import seaborn as sns 
 import plotly.express as px 

Reading Data

 df = pd.read_csv ("../ input / red-wine-quality-cortez-et-al-2009 / winequality-red.csv ") 

Понимание данных

Затем я хотел получить лучшее представление о том, с чем я работаю.

 # Посмотреть количество строк и столбцов 
 print ("Rows, columns:" + str (df.shape)) # Посмотреть первые пять строк набора данных 
 df.head () 

Всего их 1599 ряды и 12 столбцов. Данные выглядят очень чистыми, если посмотреть на первые пять строк, но я все же хотел убедиться, что отсутствуют пропущенные значения.

Отсутствующие значения

 # Отсутствующие значения 
 print (df.isna (). Sum ()) 

Это очень удобный набор данных для начинающих. Мне не приходилось иметь дело с отсутствующими значениями, и нет особой гибкости для разработки некоторых функций с учетом этих переменных.Затем я хотел еще немного изучить свои данные.

Гистограмма переменной «качество»

Во-первых, я хотел увидеть распределение переменной качества . Я хотел убедиться, что в моем наборе данных достаточно вин «хорошего качества» — позже вы увидите, как я определил «хорошее качество».

 fig = px.histogram (df, x = 'quality') 
 fig.show () 

Correlation Matrix

Затем я хотел увидеть корреляции между переменными, с которыми я работаю.Это позволяет мне быстрее понять взаимосвязь между моими переменными.

Сразу видно, что есть некоторые переменные, которые сильно коррелируют с качеством . Вероятно, что эти переменные также являются наиболее важными функциями в нашей модели машинного обучения, но мы рассмотрим это позже.

 corr = df.corr () 
 matplotlib.pyplot.subplots (figsize = (15,10)) 
 sns.heatmap (corr, xticklabels = corr.columns, yticklabels = corr.columns, annot = True, cmap = sns.diverging_palette (220, 20, as_cmap = True)) 

Возвращаясь к моей цели, я хотел сравнить эффективность различных методов классификации, поэтому мне нужно было изменить выходную переменную на двоичный выход.

Для этой задачи я определил бутылку вина как «хорошее качество», если у нее была оценка качества 7 или выше, а если она имела оценку менее 7, она считалась «плохой».

После того, как я преобразовал выходную переменную в двоичный выход, я разделил свои функциональные переменные (X) и целевую переменную (y) на отдельные фреймы данных.

 # Создать версию классификации целевой переменной 
 df ['goodquality'] = [1 if x> = 7 else 0 for x in df ['quality']] # Разделить переменные функции и целевую переменную 
 X = df.drop ( ['качество', 'хорошее качество'], ось = 1) 
 y = df ['хорошее качество'] 

Соотношение хороших и плохих вин

Я хотел убедиться, что существует разумное количество вин хорошего качества. Судя по приведенным ниже результатам, это показалось достаточно справедливым. В некоторых приложениях может потребоваться повторная выборка, если данные были чрезвычайно несбалансированными, но я предположил, что для этой цели это нормально.

 # Посмотреть соотношение хороших и плохих вин 
 df ['goodquality']. Value_counts () 

Стандартизация переменных признаков

На этом этапе я почувствовал, что готов подготовить данные для моделирования. Первым делом я стандартизировал данные. Стандартизация данных означает, что они преобразуют данные так, что их распределение будет иметь среднее значение 0 и стандартное отклонение 1. Важно стандартизировать данные, чтобы уравнять диапазон данных.

Например, представьте себе набор данных с двумя входными характеристиками: рост в миллиметрах и вес в фунтах. Поскольку значения «роста» намного выше из-за его измерения, больший акцент будет автоматически уделяться росту, чем весу, что создает смещение.

 # Нормализовать переменные функций 
 из sklearn.preprocessing import StandardScaler 
 X_features = X 
 X = StandardScaler (). Fit_transform (X) 

Разделить данные

Затем я разделил данные на обучающий и тестовый набор, чтобы я мог пересечь -проверить мои модели и определить их эффективность.

 # Разделение данных 
 из sklearn.model_selection import train_test_split 
 X_train, X_test, y_train, y_test = train_test_split (X, y, test_size = .25, random_state = 0) 

Теперь самое интересное!

В этом проекте я хотел сравнить пять различных моделей машинного обучения: деревья решений, случайные леса, AdaBoost, Gradient Boost и XGBoost. В рамках этого проекта я хотел сравнить эти модели по их точности.

Модель 1: Дерево решений

Деревья решений — популярная модель, используемая в исследованиях операций, стратегическом планировании и машинном обучении.Каждый квадрат выше называется узлом, и чем больше у вас узлов, тем точнее будет ваше дерево решений (как правило). Последние узлы дерева решений, где принимается решение, называются листьями дерева. Деревья решений интуитивно понятны и просты в построении, но не обладают достаточной точностью.

 из sklearn.metrics импорт классификации_report 
 из sklearn.tree импорт DecisionTreeClassifiermodel1 = DecisionTreeClassifier (random_state = 1) 
 model1.fit (X_train, y_train) 
 y_pred1 = model1.предсказать (X_test) print (classification_report (y_test, y_pred1)) 

Модель 2: Случайный лес

Случайные леса — это метод обучения ансамбля, основанный на деревьях решений. Случайные леса включают создание нескольких деревьев решений с использованием самонастраиваемых наборов исходных данных и случайный выбор подмножества переменных на каждом шаге дерева решений. Затем модель выбирает режим всех прогнозов каждого дерева решений. Какой в ​​этом смысл? Опираясь на модель «большинство выигрывает», он снижает риск ошибки в отдельном дереве.

Например, если мы создали одно дерево решений, третье, оно будет предсказывать 0. Но если бы мы полагались на режим всех 4 деревьев решений, предсказанное значение было бы 1. Это мощность случайные леса.

 из sklearn.ensemble import RandomForestClassifier 
 model2 = RandomForestClassifier (random_state = 1) 
 model2.fit (X_train, y_train) 
 y_pred2 = model2.predict (X_ Modeltest) print (classification_report (y_test, y_11a000B)  
 Следующие три модели представляют собой алгоритмы повышения квалификации, которые превращают слабых учеников в сильных.Я не хочу отвлекаться и объяснять разницу между этими тремя, потому что это довольно сложно и запутанно. При этом я оставлю несколько ресурсов, где вы можете узнать об AdaBoost, Gradient Boosting и XGBoosting. 
 
 из sklearn.ensemble import AdaBoostClassifier 
 model3 = AdaBoostClassifier (random_state = 1) 
 model3.fit (X_train, y_train) 
 y_pred3 = model3.predict (X_test) print (classification_report (y_3000), y_pred Повышение  
 из sklearn.Импорт ансамбля GradientBoostingClassifier 
 model4 = GradientBoostingClassifier (random_state = 1) 
 model4.fit (X_train, y_train) 
 y_pred4 = model4.predict (X_test) print (классификационный_отчет (y_test, y_ 
) как импорт модели 9000boost, 9000boost 
)) xgb 
 model5 = xgb.XGBClassifier (random_state = 1) 
 model5.fit (X_train, y_train) 
 y_pred5 = model5.predict (X_test) print (classification_report (y_test, y_pred5)) 
 Путем сравнения пяти моделей случайного леса и XGBoost, кажется, обеспечивает высочайший уровень точности.Однако, поскольку у XGBoost лучший показатель f1 для предсказания вин хорошего качества (1), я прихожу к выводу, что XGBoost является победителем из пяти моделей.
 Ниже я изобразил важность функции на основе модели случайного леса и модели XGBoost. Хотя они немного различаются, три основных характеристики одинаковы: алкоголь, летучая кислотность и сульфаты. Если вы посмотрите ниже графиков, я разделил набор данных на хорошее и плохое, чтобы сравнить эти переменные более подробно.
 через случайный лес 
 feat_importances = pd.Series (model2.feature_importances_, index = X_features.columns) 
 feat_importances.nlargest (25) .plot (kind = 'barh', figsize = (10,10)) 
 через XGBoost 
 feat_importances = pd.Series (model5. feature_importances_, index = X_features.columns) 
 feat_importances.nlargest (25) .plot (kind = 'barh', figsize = (10,10)) 
 Сравнение четырех основных функций 
 # Фильтрация df только для хорошего качества 
 df_temp = df [df ['goodquality'] == 1] 
 df_temp.describe () # Фильтрация df только для плохого качества 
 df_temp2 = df [df ['goodquality'] == 0] 
 df_temp2.description () 
Хорошее качество Плохое качество
  Изучив детали, мы можем увидеть, что вина хорошего качества имеют в среднем более высокий уровень алкоголя, в среднем более низкую летучую кислотность, в среднем более высокие уровни сульфатов и более высокие уровни остаточных количеств. сахар в среднем. 
 Перекрестная проверка и поиск по сетке для выбора модели в Python 
 Введение 
 Типичный процесс машинного обучения включает в себя обучение различных моделей в наборе данных и выбор наиболее производительной.Однако оценка производительности алгоритма не всегда является простой задачей. Есть несколько факторов, которые могут помочь вам определить, какой алгоритм работает лучше всего. Одним из таких факторов является производительность на множестве перекрестной проверки, а другим фактором является выбор параметров для алгоритма.
 В этой статье мы подробно рассмотрим эти два фактора. Сначала мы изучим, что такое перекрестная проверка, почему она необходима и как ее выполнять с помощью библиотеки Python Scikit-Learn.Затем мы перейдем к алгоритму поиска по сетке и посмотрим, как его можно использовать для автоматического выбора лучших параметров алгоритма.
 Перекрестная проверка 
 Обычно в процессе машинного обучения данные делятся на обучающие и тестовые наборы; затем обучающий набор используется для обучения модели, а набор тестов - для оценки производительности модели. Однако такой подход может привести к проблемам с отклонениями. Проще говоря, проблема дисперсии относится к сценарию, в котором наша точность, полученная в одном тесте, сильно отличается от точности, полученной в другом тестовом наборе с использованием того же алгоритма.
 Решением этой проблемы является использование перекрестной проверки K-Fold для оценки производительности, где K - любое число. Процесс перекрестной проверки K-Fold прост. Вы делите данные на K складок. Из K складок наборы K-1 используются для обучения, а оставшийся набор используется для тестирования. Алгоритм обучается и тестируется K раз, каждый раз новый набор используется в качестве набора для тестирования, а оставшиеся наборы используются для обучения. Наконец, результат перекрестной проверки K-Fold - это среднее значение результатов, полученных на каждом наборе.
 Предположим, мы хотим выполнить 5-кратную перекрестную проверку. Для этого данные делятся на 5 наборов, например, мы называем их SET A, SET B, SET C, SET D и SET E. Алгоритм обучается и тестируется K раз. В первом случае от SET A до SET D используются в качестве обучающего набора, а SET E используется как набор для тестирования, как показано на рисунке ниже:
 Во втором случае SET A, SET B, SET C и SET E используются для обучения, а SET D используется для тестирования. Процесс продолжается до тех пор, пока каждый набор не будет использован хотя бы один раз для обучения и один раз для тестирования.Конечный результат - это среднее значение результатов, полученных с использованием всех складок. Таким образом мы можем избавиться от дисперсии. Используя стандартное отклонение результатов, полученных для каждого раза, мы можем фактически найти дисперсию в общем результате.
 Перекрестная проверка с Scikit-Learn 
 В этом разделе мы будем использовать перекрестную проверку для оценки производительности алгоритма случайного леса для классификации. Задача, которую мы собираемся решить, - спрогнозировать качество вина по 12 признакам.Подробная информация о наборе данных доступна по следующей ссылке:
 https://archive.ics.uci.edu/ml/datasets/wine+quality
 В этой статье мы используем данные только для красного вина.
 Выполните следующие шаги для реализации перекрестной проверки с помощью Scikit-Learn:
 1. Импорт необходимых библиотек 
 Следующий код импортирует несколько необходимых библиотек:
  импортировать панд как pd
импортировать numpy как np
  
 2. Импорт набора данных 
 Загрузите набор данных, который доступен в Интернете по этой ссылке:
 https: // www.kaggle.com/piyushgoyal443/red-wine-dataset
 После того, как мы его загрузили, мы поместили файл в папку «Datasets» на нашем диске «D» для этой статьи. Название набора данных - winequality-red.csv. Обратите внимание, что вам нужно изменить путь к файлу, чтобы он соответствовал местоположению, в котором вы сохранили файл на своем компьютере.
 Выполните следующую команду, чтобы импортировать набор данных:
  набор данных = pd.read_csv (r "D: /Datasets/winequality-red.csv", sep = ';')
  
 Набор данных был разделен точкой с запятой, поэтому мы передали ";" атрибут для параметра "sep", чтобы pandas мог правильно проанализировать файл.
 3. Анализ данных 
 Выполните следующий сценарий, чтобы получить обзор данных:
  dataset.head ()
  
 Результат выглядит так:
 фиксированная кислотность
 летучая кислотность
 лимонная кислота
 сахар остаточный
 хлориды
 диоксид серы свободный
 диоксид серы общий
 плотность
 pH
 сульфаты
 спирт
 качество
 0
 7.4
 0,70
 0,00
 1,9
 0,076
 11,0
 34,0
 0,9978
 3,51
 0,56
 9,4
 5
 1
 7,8
 0,88
 0,00
 2,6
 0.098
 25,0
 67,0
 0,9968
 3,20
 0,68
 9,8
 5
 2
 7,8
 0,76
 0,04
 2,3
 0,092
 15,0
 54,0
 0.9970
 3,26
 0,65
 9,8
 5
 3
 11,2
 0,28
 0,56
 1,9
 0,075
 17,0
 60,0
 0,9980
 3,16
 0,58
 9.8
 6
 4
 7,4
 0,70
 0,00
 1,9
 0,076
 11,0
 34,0
 0,9978
 3,51
 0,56
 9,4
 5
 4. Предварительная обработка данных 
 Выполните следующий сценарий, чтобы разделить данные на наборы меток и функций.
  X = dataset.iloc [:, 0:11] .values
y = dataset.iloc [:, 11] .values
  
 Поскольку мы используем перекрестную проверку, нам не нужно разделять наши данные на обучающие и тестовые наборы. Нам нужны все данные в обучающем наборе, чтобы мы могли применить к ним перекрестную проверку. Самый простой способ сделать это - установить для параметра  test_size  значение 0. Это вернет все данные в обучающем наборе, как показано ниже:
  из sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split (X, y, test_size = 0, random_state = 0)
  
 5.Масштабирование данных 
 Если вы посмотрите на набор данных, вы заметите, что он плохо масштабируется. Например, столбцы «летучая кислотность» и «лимонная кислота» имеют значения от 0 до 1, в то время как большинство остальных столбцов имеют более высокие значения. Следовательно, перед обучением алгоритма нам нужно будет уменьшить масштаб наших данных.
 Здесь мы будем использовать класс  StandardScalar .
  из sklearn.preprocessing import StandardScaler
feature_scaler = StandardScaler ()
X_train = feature_scaler.fit_transform (X_train)
X_test = feature_scaler.transform (X_test)
  
 6. Обучение и перекрестная проверка 
 Первый шаг на этапе обучения и перекрестной проверки прост. Вам просто нужно импортировать класс алгоритма из библиотеки  sklearn , как показано ниже:
  из sklearn.ensemble import RandomForestClassifier
classifier = RandomForestClassifier (n_estimators = 300, random_state = 0)
  
 Затем, чтобы реализовать перекрестную проверку, метод  cross_val_score  из файла sklearn.Можно использовать библиотеку model_selection .  cross_val_score  возвращает точность для всех складок. Значения 4 параметров необходимо передать в класс  cross_val_score . Первый параметр - это оценщик, который в основном определяет алгоритм, который вы хотите использовать для перекрестной проверки. Второй и третий параметры,  X  и  y , содержат данные  X_train  и  y_train , то есть функции и метки. Наконец, количество складок передается в параметр  cv , как показано в следующем коде:
  из sklearn.model_selection импорт cross_val_score
all_accuracies = cross_val_score (оценка = классификатор, X = X_train, y = y_train, cv = 5)
  
 После того, как вы выполнили это, давайте просто напечатаем точности, возвращенные для пяти сгибов методом  cross_val_score , вызвав  print  на  all_accuracies .
  печать (все_точности)
  
 Выход:
  [0,72360248 0,68535826 0,70716511 0,68553459 0,68454259]
  
 Чтобы найти среднее значение всех погрешностей, просто используйте метод  mean ()  объекта, возвращенного методом  cross_val_score , как показано ниже:
  печать (all_accuracies.иметь в виду())
  
 Среднее значение 0,6972, или 69,72%.
 Наконец, давайте найдем стандартное отклонение данных, чтобы увидеть степень дисперсии результатов, полученных с помощью нашей модели. Для этого вызовите метод  std ()  для объекта  all_accuracies .
  печать (all_accuracies.std ())
  
 Результат: 0,01572, что составляет 1,57%. Это очень мало, что означает, что наша модель имеет очень низкую дисперсию, что на самом деле очень хорошо, поскольку это означает, что прогноз, который мы получили на одном тестовом наборе, не случаен.Скорее, модель будет работать более или менее одинаково на всех тестовых наборах.
 Поиск по сетке для выбора параметра 
 Модель машинного обучения имеет два типа параметров. Первый тип параметров - это параметры, которые изучаются с помощью модели машинного обучения, а второй тип параметров - это гиперпараметры, которые мы передаем в модель машинного обучения.
 В последнем разделе при прогнозировании качества вина мы использовали алгоритм случайного леса. Количество оценок, которые мы использовали для алгоритма, было 300.Аналогично в алгоритме KNN мы должны указать значение K, а для алгоритма SVM мы должны указать тип ядра. Эти оценки - значение K и ядро ​​- все типы гиперпараметров.
 Обычно мы случайным образом устанавливаем значения для этих гиперпараметров и смотрим, какие параметры дают наилучшую производительность. Однако случайный выбор параметров для алгоритма может оказаться исчерпывающим.
 Кроме того, нелегко сравнивать производительность разных алгоритмов путем случайной установки гиперпараметров, потому что один алгоритм может работать лучше, чем другой, с другим набором параметров.И если параметры изменить, алгоритм может работать хуже, чем другие алгоритмы.
 Следовательно, вместо случайного выбора значений параметров лучшим подходом будет разработка алгоритма, который автоматически находит наилучшие параметры для конкретной модели. Grid Search - один из таких алгоритмов.
 Поиск по сетке с помощью Scikit-Learn 
 Реализуем алгоритм поиска по сетке на примере. Сценарий в этом разделе должен запускаться после сценария, который мы создали в последнем разделе.
 Для реализации алгоритма поиска по сетке нам необходимо импортировать класс  GridSearchCV  из библиотеки  sklearn.model_selection .
 Первый шаг, который вам нужно выполнить, - это создать словарь всех параметров и соответствующего им набора значений, которые вы хотите протестировать на лучшую производительность. Имя элементов словаря соответствует имени параметра, а значение соответствует списку значений параметра.
 Давайте создадим словарь параметров и их соответствующих значений для нашего алгоритма случайного леса.Подробная информация обо всех параметрах алгоритма случайного леса доступна в документации Scikit-Learn.
 Для этого выполните следующий код:
  grid_param = {
    'n_estimators': [100, 300, 500, 800, 1000],
    'критерий': ['Джини', 'энтропия'],
    'bootstrap': [Верно, Ложно]
}
  
 Внимательно посмотрите на приведенный выше код. Здесь мы создаем словарь  grid_param  с тремя параметрами  n_estimators , критерием   и  bootstrap .Значения параметров, которые мы хотим опробовать, передаются в списке. Например, в приведенном выше сценарии мы хотим найти, какое значение (из 100, 300, 500, 800 и 1000) обеспечивает наивысшую точность.
 Аналогично, мы хотим найти, какое значение приводит к наивысшей производительности для параметра критерия : «Джини» или «энтропия»? Алгоритм поиска по сетке в основном перебирает все возможные комбинации значений параметров и возвращает комбинацию с максимальной точностью. Например, в приведенном выше случае алгоритм проверит 20 комбинаций (5 x 2 x 2 = 20).
 Алгоритм поиска по сетке может быть очень медленным из-за потенциально огромного количества тестируемых комбинаций. Кроме того, перекрестная проверка еще больше увеличивает время выполнения и сложность.
 После создания словаря параметров следующим шагом будет создание экземпляра класса  GridSearchCV . Вам необходимо передать значения для параметра  оценщика , который в основном является алгоритмом, который вы хотите выполнить. Параметр  param_grid  принимает словарь параметров, который мы только что создали, в качестве параметра, параметр  scoring  принимает метрики производительности, параметр  cv  соответствует количеству складок, которое в нашем случае равно 5, и, наконец,  n_jobs  Параметр относится к количеству процессоров, которые вы хотите использовать для выполнения.Значение -1 для параметра  n_jobs  означает, что используется вся доступная вычислительная мощность. Это может быть удобно, если у вас большой объем данных.
 Обратите внимание на следующий код:
  gd_sr = GridSearchCV (оценка = классификатор,
                     param_grid = grid_param,
                     scoring = 'точность',
                     cv = 5,
                     n_jobs = -1)
  
 После инициализации класса  GridSearchCV  последним шагом является вызов метода  fit  класса и передача ему обучающего и тестового набора, как показано в следующем коде:
  гд_ср.подходят (X_train, y_train)
  
 Для выполнения этого метода может потребоваться некоторое время, поскольку у нас есть 20 комбинаций параметров и 5-кратная перекрестная проверка. Таким образом, алгоритм выполнится всего 100 раз.
 После того, как метод завершит выполнение, следующим шагом будет проверка параметров, которые возвращают наивысшую точность. Для этого распечатайте атрибут  sr.best_params_  объекта  GridSearchCV , как показано ниже:
  best_parameters = gd_sr.best_params_
печать (лучшие_параметры)
  
 Выход:
  {'bootstrap': True, 'criterion': 'gini', 'n_estimators': 1000}
  
 Результат показывает, что наивысшая точность достигается, когда  n_estimators  равны 1000,  bootstrap  равен  True  и  критерий  равен «Джини».
  Примечание : Было бы неплохо добавить большее количество оценщиков и посмотреть, увеличится ли производительность дальше, поскольку было выбрано максимально допустимое значение  n_estimators .
 Последний и последний шаг алгоритма поиска по сетке - определение точности, полученной с использованием лучших параметров. Ранее у нас была средняя точность 69,72% с 300  n_estimators .
 Чтобы определить максимальную точность, выполните следующий код:
  best_result = gd_sr.best_score_
печать (лучший_результат)
  
 Достигнутая точность: 0,6985 из 69,85%, что лишь немного лучше 69,72%. Чтобы улучшить это, было бы хорошо проверить значения для других параметров алгоритма случайного леса, таких как  max_features ,  max_depth ,  max_leaf_nodes  и т. Д.чтобы увидеть, улучшится ли точность дальше или нет.
 Заключение 
 В этой статье мы изучили два очень часто используемых метода оценки производительности и выбора модели алгоритма. Перекрестная проверка K-Fold может использоваться для оценки производительности модели путем решения проблемы дисперсии набора результатов. Кроме того, чтобы определить лучший алгоритм и лучшие параметры, мы можем использовать алгоритм поиска по сетке.
 машинное обучение на Python - лекции Scipy 
 3.6.9.1. Гиперпараметры, перебор и недо подгонка 
 Проблемы, связанные с проверкой и перекрестной проверкой, являются одними из следующих:
важнейшие аспекты практики машинного обучения.
Выбор оптимальной модели для ваших данных жизненно важен и является частью
проблема, которую не часто понимают в машинном обучении
практикующие.
 Центральный вопрос:  Если наша оценка неэффективна, как
мы должны двигаться вперед? 
 Использовать более простую или более сложную модель?
 Добавить дополнительные функции к каждой наблюдаемой точке данных?
 Добавить обучающие образцы?
 Ответ часто противоречит интуиции.В частности,  Иногда используют
более сложная модель даст худшие результаты.  Также,  Иногда
добавление обучающих данных не улучшит ваших результатов.  Возможность
определить, какие шаги улучшат вашу модель - вот что отличает
успешные практики машинного обучения от неудачников.
 Компромисс смещения и дисперсии: иллюстрация к простой задаче регрессии 
 Начнем с простой задачи одномерной регрессии. Этот
поможет нам легко визуализировать данные и модель, а результаты
легко обобщить на наборы данных более высокой размерности.Мы рассмотрим простой  линейная регрессия  проблема, с  sklearn.linear_model .
 X = np.c_ [.5, 1] ​​.T
y = [.5, 1]
X_test = np.c_ [0, 2] .T
 
 Без шума, так как линейная регрессия идеально подходит для данных
 из sklearn import linear_model
regr = линейная_модель.LinearRegression ()
regr.fit (X, y)
plt.plot (X, y, 'о')
plt.plot (X_test, regr.predict (X_test))
 
 В реальной жизни у нас есть шум (например, шум измерения) в наших данных:
 нп.random.seed (0)
для _ в диапазоне (6):
    noisy_X = X + np.random.normal (loc = 0, масштаб = .1, размер = X.shape)
    plt.plot (noisy_X, y, 'o')
    regr.fit (noisy_X, y)
    plt.plot (X_test, regr.predict (X_test))
 
 Как мы видим, наша линейная модель улавливает и усиливает шум в
данные. Он показывает много вариаций.
 Мы можем использовать другую линейную оценку, которая использует регуляризацию,
 Оценщик  Ridge . Этот оценщик
упорядочивает коэффициенты, уменьшая их до нуля под
предположение, что очень высокие корреляции часто оказываются ложными.Альфа
Параметр контролирует величину используемой усадки.
 regr = linear_model.Ridge (альфа = .1)
np.random.seed (0)
для _ в диапазоне (6):
    noisy_X = X + np.random.normal (loc = 0, масштаб = .1, размер = X.shape)
    plt.plot (noisy_X, y, 'o')
    regr.fit (noisy_X, y)
    plt.plot (X_test, regr.predict (X_test))

plt.show ()
 
 Как мы видим, оценщик показывает гораздо меньшую дисперсию. Однако это
систематически занижает коэффициент. Он отображает предвзятый
поведение.
 Это типичный пример обмена смещением / дисперсией  из : нерегуляризованный
оценки не предвзяты, но они могут отображать большие отклонения.Модели с высокой степенью регуляризации имеют небольшую дисперсию, но высокую систематическую ошибку. Это предубеждение
не обязательно плохо: важно выбрать
компромисс между смещением и дисперсией, который приводит к лучшему прогнозу
представление. Для конкретного набора данных есть золотая середина, соответствующая
до максимальной сложности, которую могут поддерживать данные, в зависимости от
количество шума и доступных наблюдений.
 3.6.9.2. Визуализация компромисса смещения / отклонения 
 Подсказка
 Учитывая конкретный набор данных и модель (например,грамм. многочлен), мы хотели бы
понять, ограничивает ли прогноз предвзятость (недостаточное соответствие) или дисперсия и как
для настройки гиперпараметра   (здесь  d , степень полинома)
чтобы дать наилучшее соответствие.
 Для заданных данных давайте подгоним простую модель полиномиальной регрессии с
разной степени:
 Подсказка
 На приведенном выше рисунке мы видим соответствия для трех различных значений:  d .
Для  d = 1  данные не подходят. Это значит, что модель тоже
упрощенно: никакая прямая линия никогда не будет подходить для этих данных.В
В этом случае мы говорим, что модель страдает большим смещением. Модель
само по себе является необъективным, и это отразится на том, что данные
плохо подходит. С другой стороны, для  d = 6  данные не соответствуют действительности.
Это означает, что в модели слишком много свободных параметров (в данном случае 6).
который можно настроить так, чтобы он идеально соответствовал тренировочным данным. Если мы добавим
новый момент в этом сюжете, но есть вероятность, что он будет очень далек от
кривая, представляющая соответствие степени-6. В этом случае мы говорим, что модель
страдает высокой дисперсией.Причина использования термина «высокая дисперсия» заключается в
что, если какая-либо из входных точек немного изменится, это может привести к
совсем другая модель.
 Посередине, для  d = 2 , мы нашли хорошую среднюю точку. Он подходит
данные достаточно хорошо и не страдают от систематической ошибки и дисперсии
проблемы видны на рисунках с обеих сторон. Что бы мы хотели, это способ
для количественного определения систематической ошибки и дисперсии и оптимизации
метапараметры (в данном случае степень полинома d), чтобы
определить лучший алгоритм.
 Полиномиальная регрессия с помощью scikit-learn
 Полиномиальная регрессия строится конвейерной обработкой.  Полином Особенности  и линейная регрессия  :
 >>> из sklearn.pipeline import make_pipeline
>>> из sklearn.preprocessing import PolynomialFeatures
>>> из sklearn.linear_model import LinearRegression
>>> model = make_pipeline (PolynomialFeatures (степень = 2), LinearRegression ())
 
 Кривые валидации 
 Давайте создадим набор данных, как в примере выше:
 >>> def generate_func (x, err = 0.5):
... вернуть np.random.normal (10 - 1. / (x + 0.1), err)

>>> # произвольная выборка дополнительных данных
>>> np.random.seed (1)
>>> x = np.random.random (размер = 200)
>>> y = generate_func (x, err = 1.)
 
 Центральным звеном для количественной оценки систематической ошибки и дисперсии модели является ее применение в тесте .
данные , взятые из того же распределения, что и поезд, но это будет
захват независимого шума:
 >>> xtrain, xtest, ytrain, ytest = train_test_split (x, y, test_size = 0.4)
 
  Кривая валидации  Кривая валидации состоит в изменении параметра модели
который контролирует его сложность (здесь степень
полином) и измеряет как ошибку модели на обучающих данных, так и на
данные тестирования ( например,  с перекрестной проверкой). Параметр модели тогда
отрегулировано так, чтобы ошибка теста была минимальной:
 Мы используем  sklearn.model_selection.validation_curve ()  для вычисления поезда
и тестовая ошибка, и построить ее:
 >>> из sklearn.model_selection импорт validation_curve

>>> градусов = np.arange (1, 21)

>>> model = make_pipeline (PolynomialFeatures (), LinearRegression ())

>>> # Меняйте "степени" на шаге конвейера "polynomialfeatures"
>>> train_scores, validation_scores = validation_curve (
... модель, x [:, np.newaxis], y,
... param_name = 'polynomialfeatures__degree',
... диапазон_параметров = градусы)

>>> # Постройте среднюю оценку поезда и оценку валидации по складкам
>>> плт.график (градусы, validation_scores.mean (axis = 1), label = 'cross-validation')
[<объект matplotlib.lines.Line2D в ...>]
>>> plt.plot (градусов, train_scores.mean (axis = 1), label = 'training')
[<объект matplotlib.lines.Line2D в ...>]
>>> plt.legend (loc = 'лучший')
<объект matplotlib.legend.Legend в ...>
 
 На этом рисунке показано, почему валидация важна. С левой стороны
plot, у нас есть многочлен очень низкой степени, который не соответствует данным. Этот
приводит к низкой объясненной дисперсии как для обучающей выборки, так и для
набор проверки.В дальней правой части сюжета у нас очень высокий
многочлен степени, который не соответствует данным. Это видно по факту
что тренировка объяснила, что дисперсия очень высока, в то время как
набор проверки, он низкий. Выбор  d  из числа 4 или 5 дает нам лучшее
компромисс.
 Подсказка
 Проницательный читатель поймет, что здесь что-то не так: в
На графике выше  d = 4  дает наилучшие результаты. Но в предыдущем сюжете
мы обнаружили, что  d = 6  значительно превышает данные.Что тут происходит?
Разница в  количествах используемых тренировочных точек. в
В предыдущем примере было всего восемь тренировочных точек. В этом
Например, у нас есть 100. Как правило, чем больше тренировок
точек, можно использовать более сложную модель. Но как ты можешь
определить для данной модели, будет ли больше тренировочных точек
полезный? Полезной диагностикой для этого являются кривые обучения.
 Кривые обучения 
 Кривая обучения показывает оценку обучения и проверки в виде
функция количества тренировочных очков.Обратите внимание: когда мы тренируемся на
подмножество обучающих данных, оценка обучения вычисляется с использованием
это подмножество, а не полный обучающий набор. Эта кривая дает
количественное представление о том, насколько полезно будет добавить обучение
образцы.
  Вопросы: 
 Что вы ожидаете по мере увеличения количества обучающих выборок?
посмотреть оценку тренировок? Для оценки валидации?
 Ожидаете ли вы, что оценка обучения будет выше или ниже, чем
оценка валидации? Вы когда-нибудь ожидали, что это изменится?
  scikit-learn  предоставляет  sklearn.model_selection.learning_curve () :
 >>> из sklearn.model_selection import learning_curve
>>> train_sizes, train_scores, validation_scores = learning_curve (
... модель, x [:, np.newaxis], y, train_sizes = np.logspace (-1, 0, 20))

>>> # Постройте среднюю оценку поезда и оценку валидации по складкам
>>> plt.plot (train_sizes, validation_scores.mean (axis = 1), label = 'cross-validation')
[<объект matplotlib.lines.Line2D в ...>]
>>> плт.сюжет (train_sizes, train_scores.mean (axis = 1), label = 'training')
[<объект matplotlib.lines.Line2D в ...>]
 
 Для  градусов = 1  модель
 Обратите внимание, что оценка проверки  обычно увеличивается  с ростом
обучающий набор, в то время как обучающий балл  обычно уменьшается на  с
растущий обучающий набор. Как размер тренировки
увеличивается, они сходятся к одному значению.
 Из приведенного выше обсуждения мы знаем, что  d = 1  является большим смещением.
оценщик, который не соответствует данным.Об этом говорит тот факт, что
как обучение, так и оценка валидации низкие. Когда противостоит
с таким типом обучения мы можем ожидать, что добавление большего количества
данные обучения не помогут: обе линии сходятся к
относительно низкий балл.
  Когда кривые обучения сходятся к низкому баллу, мы получаем
модель с высоким смещением. 
 Модель с большим смещением может быть улучшена следующим образом:
 Используя более сложную модель (т.е. в данном случае увеличьте  d )
 Соберите больше функций для каждого образца.
 Уменьшить регуляризацию в регуляризованной модели.
 Однако увеличение количества выборок не улучшает высокое смещение.
модель.
 Теперь давайте посмотрим на модель с высокой дисперсией (т. Е. С избыточным соответствием):
 Для  градусов = 15  модель
 Здесь мы показываем кривую обучения для  d = 15 . Из вышеизложенного
Мы знаем, что  d = 15  - это оценка  с высокой дисперсией  который  превышает  данных.Об этом говорит тот факт, что
оценка обучения намного выше, чем оценка валидации. По мере того, как мы добавляем больше
образцов к этому набору обучения, оценка обучения продолжит
уменьшатся, в то время как ошибка перекрестной проверки будет продолжать увеличиваться, пока они
встретиться посередине.
  Кривые обучения, которые еще не совпадают с полным обучением
набор указывает на модель с высокой дисперсией и избыточной посадкой. 
 Модель с высокой дисперсией может быть улучшена с помощью:
 Сбор дополнительных обучающих выборок.
 Используя менее сложную модель (т.е. в данном случае сделайте  d  меньше)
 Повышение регуляризации.
 В частности, сбор дополнительных функций для каждого образца не поможет
полученные результаты.
 3.6.9.3. Резюме по выбору модели 
 Выше мы видели, что неэффективный алгоритм может быть вызван двумя
возможные ситуации: сильная погрешность (недоподгонка) и большая дисперсия......................................................................................
(переоснащение). Чтобы оценить наш алгоритм, мы отложили
часть наших обучающих данных для перекрестной проверки.Использование техники
кривых обучения, мы можем тренироваться на постепенно увеличивающихся подмножествах
данные, оценивая ошибку обучения и ошибку перекрестной проверки, чтобы
определить, имеет ли наш алгоритм высокую дисперсию или высокую систематическую ошибку. Но что
что мы делаем с этой информацией?
 Высокое смещение 
 Если модель показывает высокое смещение  , могут помочь следующие действия:
  Добавить дополнительные функции . В нашем примере прогнозирования цен на жилье это
может быть полезно использовать такую ​​информацию, как район
дом, год постройки, размер участка,
и т.п.Добавление этих функций в наборы для обучения и тестирования может улучшить
оценщик с высоким смещением
  Используйте более сложную модель . Добавление сложности модели
может помочь улучшить предвзятость. Для полиномиальной аппроксимации это может быть
достигается увеличением степени d. В каждой методике обучения есть
собственные методы добавления сложности.
  Используйте меньше образцов . Хотя это не улучшит
классификации, алгоритм с высоким смещением может достичь почти того же
ошибка с меньшей обучающей выборкой.Для алгоритмов, которые
вычислительно затратно, уменьшение размера обучающей выборки может привести к
к очень большим улучшениям в скорости.
  Уменьшить регуляризацию . Регуляризация - это метод, используемый для
навязать простоту некоторым моделям машинного обучения, добавив
срок штрафа, зависящий от характеристик параметров.
Если модель имеет большое смещение, уменьшение эффекта регуляризации может
привести к лучшим результатам.
 Высокая дисперсия 
 Если модель показывает  большое отклонение , следующие действия могут
помощь:
  Используйте меньше функций .Использование техники выбора признаков может быть
полезно, и уменьшить чрезмерную подгонку оценщика.
  Используйте более простую модель . Сложность модели и переоснащение идут
рука об руку.
  Используйте больше обучающих выборок . Добавление обучающих выборок может уменьшить
эффект чрезмерной подгонки и приводит к улучшениям в высокой дисперсии
оценщик.
  Увеличить регуляризацию . Регуляризация предназначена для предотвращения
переоснащение. В модели с высокой дисперсией увеличение регуляризации может
привести к лучшим результатам.
 Этот выбор становится очень важным в реальных ситуациях. Для
Например, из-за ограниченного времени телескопа астрономы должны искать баланс
между наблюдением за большим количеством объектов и наблюдением за большим
количество характеристик для каждого объекта. Как определить, что важнее
для конкретной учебной задачи может сообщить стратегии наблюдения, что
астроном нанимает.
 3.6.9.4. Последнее предостережение: отдельный набор для проверки и тестирования 
 Использование схем проверки для определения гиперпараметров означает, что мы
подгонка гиперпараметров к конкретному набору проверки.в
так же, как параметры могут быть чрезмерно подогнаны под обучающий набор,
гиперпараметры могут не соответствовать набору проверки. Из-за этого,
ошибка проверки имеет тенденцию недооценивать ошибку классификации
новые данные.
 По этой причине рекомендуется разделить данные на три набора:
 Обучающий набор  , используемый для обучения модели (обычно ~ 60%
данные)
 Набор проверки  , используемый для проверки модели (обычно ~ 20%
данные)
 Тестовый набор  , используемый для оценки ожидаемой ошибки
проверенная модель (обычно ~ 20% данных)
 Многие специалисты по машинному обучению не разделяют набор тестов и
набор проверки.Но если ваша цель - оценить погрешность модели на
неизвестные данные, использование независимого набора тестов жизненно важно.
 Ваш первый проект машинного обучения на Python: пошаговые инструкции 
 Последнее обновление 19 августа 2020 г.
 Вы хотите заниматься машинным обучением с использованием Python, но у вас возникли проблемы с началом работы?
 В этом посте вы завершите свой первый проект машинного обучения с использованием Python.
 В этом пошаговом руководстве вы:
 Загрузите и установите Python SciPy и получите самый полезный пакет для машинного обучения на Python.
 Загрузите набор данных и разберитесь в его структуре с помощью статистических сводок и визуализации данных.
 Создайте 6 моделей машинного обучения, выберите лучшую и получите уверенность в надежности.
 Если вы новичок в машинном обучении и хотите, наконец, начать использовать Python, это руководство было разработано для вас.
  Начните свой проект  с моей новой книги «Мастерство машинного обучения с Python», включающей  пошаговых руководств  и файлы  исходного кода Python  для всех примеров.
 Приступим!
  Обновление, январь / 2017 г. : обновлено, чтобы отразить изменения в scikit-learn API в версии 0.18.
  Обновление, март / 2017 : добавлены ссылки для помощи в настройке среды Python.
  Обновление, апрель 2018 г. : добавлены полезные ссылки о случайности и прогнозировании.
  Обновление сентябрь / 2018 : добавлена ​​ссылка на мою собственную размещенную версию набора данных.
  Обновление февраль / 2019 : Обновлено для sklearn v0.20, также обновлены графики.
  Обновление, октябрь 2019 г. : в конце добавлены ссылки на дополнительные руководства, которые можно продолжить.
  Обновление ноябрь / 2019 : Добавлены полные примеры кода для каждого раздела.
  Обновление декабрь / 2019 : Обновлены примеры удаления предупреждений из-за изменений API в v0.22.
  Обновление, январь / 2020 г. : Обновлено: фрагмент кода для тестовой оснастки удален.
 Ваш первый проект машинного обучения на Python, шаг за шагом 
 Фото cosmoflash, некоторые права защищены.
 Как начать машинное обучение на Python? 
 Лучший способ изучить машинное обучение - разрабатывать и выполнять небольшие проекты.
 Python может напугать при запуске 
 Python - популярный и мощный интерпретируемый язык. В отличие от R, Python представляет собой законченный язык и платформу, которые можно использовать как для исследований, так и для разработки производственных систем.
 Существует также множество модулей и библиотек на выбор, предлагающих несколько способов выполнения каждой задачи.Это может показаться подавляющим.
 Лучший способ начать использовать Python для машинного обучения - это завершить проект.
 Это заставит вас установить и запустить интерпретатор Python (по крайней мере).
 Это даст вам представление о том, как выполнять небольшой проект с высоты птичьего полета.
 Это придаст вам уверенности, возможно, вы сможете продолжить свои небольшие проекты.
 Новичкам нужен небольшой комплексный проект 
 Книги и курсы разочаровывают.Они дают вам множество рецептов и отрывков, но вы никогда не увидите, как все они сочетаются друг с другом.
 Когда вы применяете машинное обучение к своим собственным наборам данных, вы работаете над проектом.
 Проект машинного обучения может быть нелинейным, но он имеет ряд хорошо известных шагов:
 Определить проблему.
 Подготовьте данные.
 Оценить алгоритмы.
 Улучшение результатов.
 Настоящие результаты.
 Лучший способ по-настоящему освоить новую платформу или инструмент - это проработать весь проект машинного обучения и охватить ключевые этапы.А именно, от загрузки данных, обобщения данных, оценки алгоритмов и выполнения некоторых прогнозов.
 Если вы можете это сделать, у вас есть шаблон, который вы можете использовать для набора данных за набором данных. Вы можете заполнить пробелы, такие как дальнейшая подготовка данных и улучшение результатов задач, позже, когда у вас появится больше уверенности.
 Привет, мир машинного обучения 
 Лучший небольшой проект для начала работы с новым инструментом - это классификация цветов ириса (например, набор данных ириса).
 Это хороший проект, потому что он так хорошо изучен.
 Атрибуты числовые, поэтому вам нужно выяснить, как загружать и обрабатывать данные.
 Это проблема классификации, позволяющая вам попрактиковаться, возможно, с более простым типом алгоритма контролируемого обучения.
 Это проблема классификации нескольких классов (многозначная), которая может потребовать специальной обработки.
 У него всего 4 атрибута и 150 строк, то есть он небольшой и легко умещается в памяти (и на экране или на странице A4).
 Все числовые атрибуты представлены в одних и тех же единицах измерения и в одном масштабе, и для начала не требуется никакого специального масштабирования или преобразований.
 Давайте начнем с вашего проекта машинного обучения Hello World на Python.
 Машинное обучение на Python: пошаговое руководство 

 (начало здесь)
 В этом разделе мы собираемся проработать небольшой проект машинного обучения от начала до конца.
 Вот обзор того, что мы собираемся осветить:
 Установка платформы Python и SciPy.
 Загрузка набора данных.
 Подведение итогов набора данных.
 Визуализация набора данных.
 Оценка некоторых алгоритмов.
 Делаем некоторые прогнозы.
 Не торопитесь. Прорабатывайте каждый шаг.
 Попробуйте ввести команды самостоятельно или скопируйте и вставьте команды, чтобы ускорить процесс.
 Если у вас есть какие-либо вопросы, оставьте, пожалуйста, комментарий внизу сообщения.
 Нужна помощь с машинным обучением на Python? 
 Пройдите мой бесплатный двухнедельный курс электронной почты и откройте для себя подготовку данных, алгоритмы и многое другое (с кодом).
 Нажмите, чтобы зарегистрироваться сейчас, а также получите бесплатную электронную версию курса в формате PDF.
 Начните БЕСПЛАТНЫЙ мини-курс прямо сейчас!
 1. Загрузка, установка и запуск Python SciPy 
 Установите платформу Python и SciPy в вашей системе, если она еще не установлена.
 Я не хочу подробно останавливаться на этом, потому что другие уже сделали это. Это уже довольно просто, особенно если вы разработчик. Если вам действительно нужна помощь, задавайте вопрос в комментариях.
 1.1 Установить библиотеки SciPy 
 В этом руководстве предполагается, что Python версии 2.7 или 3.6+.
 Вам необходимо установить 5 ключевых библиотек. Ниже приведен список библиотек Python SciPy, необходимых для этого руководства:
 scipy
 число
 matplotlib
 панды
 склеарн
 Есть много способов установить эти библиотеки. Мой лучший совет - выбрать один метод, а затем последовательно устанавливать каждую библиотеку.
 На странице установки scipy представлены отличные инструкции по установке вышеуказанных библиотек на нескольких различных платформах, таких как Linux, Mac OS X и Windows. Если у вас есть какие-либо сомнения или вопросы, обратитесь к этому руководству, за ним последовали тысячи людей.
 В Mac OS X вы можете использовать macports для установки Python 3.6 и этих библиотек. Для получения дополнительной информации о macports см. Домашнюю страницу.
 В Linux вы можете использовать диспетчер пакетов, например yum в Fedora, для установки пакетов RPM.
 Если вы используете Windows или не уверены, я бы порекомендовал установить бесплатную версию Anaconda, которая включает в себя все, что вам нужно.
  Примечание : В этом руководстве предполагается, что у вас установлена ​​версия scikit-learn 0.20 или выше.
 Нужна дополнительная помощь? См. Одно из этих руководств:
 1.2 Запустите Python и проверьте версии 
 Рекомендуется убедиться, что ваша среда Python была успешно установлена ​​и работает должным образом.
 Приведенный ниже сценарий поможет вам протестировать вашу среду. Он импортирует каждую библиотеку, необходимую в этом руководстве, и распечатывает версию.
 Откройте командную строку и запустите интерпретатор Python:
 Я рекомендую работать непосредственно в интерпретаторе или писать сценарии и запускать их в командной строке, а не в больших редакторах и IDE. Делайте вещи простыми и сосредоточьтесь на машинном обучении, а не на цепочке инструментов.
 Введите или скопируйте и вставьте следующий сценарий:
 # Проверяем версии библиотек  # Версия Python
import sys
print ('Python: {}'.формат (sys.version))
# scipy
импортный scipy
print ('scipy: {}'. format (scipy .__ version__))
# numpy
import numpy
print ('число: {}'. формат (число .__ версия__))
# matplotlib
импортировать matplotlib
print ('matplotlib: {}'. format (matplotlib .__ version__))
# панды
импортные панды
print ('панды: {}'. формат (панды .__ версия__))
# scikit-learn
импортный склеарн
print ('sklearn: {}'. format (sklearn .__ version__))
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 18
 19
 20
 # Проверить версии библиотек
 # Версия Python
 import sys
 print ('Python: {}'.format (sys.version))
 # scipy
 import scipy
 print ('scipy: {}'. format (scipy .__ version__))
 # numpy
 import numpy
 print ('numpy: {} '.format (numpy .__ version__))
 # matplotlib
 import matplotlib
 print (' matplotlib: {} '. format (matplotlib .__ version__))
 # pandas
 import pandas
 import pandas
 {} '. format (pandas .__ version__))
 # scikit-learn
 import sklearn
 print (' sklearn: {} '.формат (sklearn .__ версия__))
 Вот результат, который я получаю на своей рабочей станции OS X:
 Python: 3.6.11 (по умолчанию, 29 июня 2020 г., 13:22:26)
[GCC 4.2.1, совместимый с Apple LLVM 9.1.0 (clang-902.0.39.2)]
scipy: 1.5.2
число: 1.19.1
matplotlib: 3.3.0
панды: 1.1.0
sklearn: 0,23,2
 Python: 3.6.11 (по умолчанию, 29 июня 2020 г., 13:22:26)
 [GCC 4.2.1 Совместимый Apple LLVM 9.1.0 (clang-902.0.39.2)]
 scipy: 1.5.2
 numpy: 1.19.1
 matplotlib: 3.3.0
 pandas: 1.1.0
 sklearn: 0.23.2
 Сравните приведенный выше вывод с вашими версиями.
 В идеале, ваши версии должны совпадать или быть более поздними. API-интерфейсы не меняются быстро, поэтому не беспокойтесь, если вы отстали на несколько версий. Скорее всего, все в этом руководстве по-прежнему будет работать для вас.
 Если вы получили ошибку, остановитесь. Пришло время исправить это.
 Если вы не можете запустить приведенный выше сценарий без ошибок, вы не сможете выполнить это руководство.
 Мой лучший совет - поискать сообщение об ошибке в Google или задать вопрос на Stack Exchange.
 2. Загрузить данные 
 Мы собираемся использовать набор данных цветов ириса. Этот набор данных известен тем, что он используется в качестве набора данных «привет, мир» в машинном обучении и статистике практически всеми.
 Набор данных содержит 150 наблюдений за цветками ириса. Есть четыре столбца размеров цветов в сантиметрах. Пятая колонка - это вид наблюдаемого цветка. Все наблюдаемые цветы принадлежат к одному из трех видов.
 Вы можете узнать больше об этом наборе данных в Википедии.
 На этом этапе мы собираемся загрузить данные радужной оболочки из URL-адреса файла CSV.
 2.1 Импорт библиотек 
 Во-первых, давайте импортируем все модули, функции и объекты, которые мы собираемся использовать в этом руководстве.
 # Загрузить библиотеки
из панд импортировать read_csv
из pandas.plotting import scatter_matrix
из matplotlib import pyplot
из sklearn.model_selection import train_test_split
из sklearn.model_selection импорт cross_val_score
из sklearn.model_selection import StratifiedKFold
из sklearn.metrics импорт классификации_report
из sklearn.metrics импортировать confusion_matrix
из sklearn.metrics импортировать precision_score
из склеарна.linear_model импорт LogisticRegression
из sklearn.tree импортировать DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
из sklearn.discriminant_analysis import LinearDiscriminantAnalysis
из sklearn.naive_bayes импортировать GaussianNB
из sklearn.svm импортировать SVC
...
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 # Загрузить библиотеки
 из pandas import read_csv
 from pandas.plotting import scatter_matrix
 from matplotlib import pyplot
 from sklearn.model_selection import train_test_split
 from sklearn.model_selection import cross_val_score
 from sklearn.model_selection import Stratified_report2000
000 из sklearn.model_selection импорт Stratified_Matrics
 import Stratified_Matrics
 import Stratified_Matrics import
 из sklearn.metrics импортировать precision_score
 из sklearn.linear_model импортировать LogisticRegression
 из sklearn.tree import DecisionTreeClassifier
 из sklearn.neighbours import KNeighborsClassifier
 из sklearn.discriminant_analysis import LinearDiscriminantAnalysis
 из sklearn.naive_bayes26 import GaussianNB
 из sklearn
 Все должно загрузиться без ошибок. Если у вас есть ошибка, остановитесь. Прежде чем продолжить, вам понадобится рабочая среда SciPy. См. Приведенный выше совет по настройке вашей среды.
 2.2 Загрузить набор данных 
 Мы можем загружать данные прямо из репозитория машинного обучения UCI.
 Мы используем панды для загрузки данных. Далее мы также будем использовать панды, чтобы исследовать данные как с описательной статистикой, так и с визуализацией данных.
 Обратите внимание, что мы указываем имена каждого столбца при загрузке данных. Это поможет позже, когда мы исследуем данные.
 ...
# Загрузить набор данных
url = "https: //raw.githubusercontent.com / jbrownlee / Datasets / master / iris.csv "
names = ['длина чашелистика', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'класс']
набор данных = read_csv (URL, имена = имена)
 ...
 # Загрузить набор данных
 url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
 names = ['sepal-length', 'sepal-width ',' длина лепестка ',' ширина лепестка ',' класс ']
 набор данных = read_csv (url, names = names)
 Набор данных должен загрузиться без происшествий.
 Если у вас есть проблемы с сетью, вы можете загрузить файл iris.csv в свой рабочий каталог и загрузить его тем же способом, изменив URL-адрес на имя локального файла.
 3. Обобщение набора данных 
 Теперь пора взглянуть на данные.
 На этом этапе мы рассмотрим данные несколькими разными способами:
 Размеры набора данных.
 Просмотрите сами данные.
 Статистическая сводка всех атрибутов.
 Разбивка данных по переменной класса.
 Не волнуйтесь, каждый просмотр данных - это одна команда. Это полезные команды, которые вы можете использовать снова и снова в будущих проектах.
 3.1 Размеры набора данных 
 Мы можем быстро понять, сколько экземпляров (строк) и сколько атрибутов (столбцов) содержат данные с помощью свойства shape.
 ...
# форма
печать (dataset.shape)
...
 # shape
 print (dataset.shape)
 Вы должны увидеть 150 экземпляров и 5 атрибутов:
 3.2 Просмотр данных 
 Также всегда полезно внимательно следить за своими данными.
 ...
# глава
печать (dataset.head (20))
 ...
 # head
 print (dataset.head (20))
 Вы должны увидеть первые 20 строк данных:
 длина чашелистика ширина чашелистика длина лепестка класс ширины лепестка
0 5.1 3,5 1,4 0,2 Ирис сетоса
1 4,9 3,0 1,4 0,2 Ирис сетоса
2 4,7 3,2 1,3 0,2 Ирис сетоса
3 4,6 3,1 1,5 0,2 Ирис сетоса
4 5,0 3,6 1,4 0,2 Ирис сетоса
5 5,4 3,9 1,7 0,4 Ирис сетоса
6 4,6 3,4 1,4 0,3 Ирис сетоса
7 5.0 3,4 1,5 0,2 Ирис сетоса
8 4,4 2,9 1,4 0,2 Ирис сетоса
9 4,9 3,1 1,5 0,1 Ирис сетоса
10 5,4 3,7 1,5 0,2 Ирис сетоса
11 4,8 3,4 1,6 0,2 Ирис сетоса
12 4,8 3,0 1,4 0,1 Ирис сетоса
13 4,3 3,0 1,1 0,1 Ирис сетоса
14 5.8 4,0 1,2 0,2 ​​Ирис сетоса
15 5,7 4,4 1,5 0,4 Ирис сетоса
16 5,4 3,9 1,3 0,4 Ирис сетоса
17 5,1 3,5 1,4 0,3 Ирис сетоса
18 5,7 3,8 1,7 0,3 Ирис сетоса
19 5,1 3,8 1,5 0,3 Ирис сетоса
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 18
 19
 20
 21
 длина чашелистика ширина чашелистика длина лепестка класс ширины лепестка
 0 5.1 3,5 1,4 0,2 Iris-setosa
 1 4,9 3,0 1,4 0,2 Iris-setosa
 2 4,7 3,2 1,3 0,2 Iris-setosa
 3 4,6 3,1 1,5 0,2 Iris-setosa
 4 5,0 3,6 1,4 0,2 Iris-setosa
 5 5,4 3,9 1,7 0,4 Iris-setosa
 6 4,6 3.4 1,4 0,3 Iris-setosa
 7 5,0 3,4 1,5 0,2 Iris-setosa
 8 4,4 2,9 1,4 0,2 Iris-setosa
 9 4,9 3,1 1,5 0,1 Iris-setosa
 10 5,4 3,7 1,5 0,2 Iris-setosa
 11 4,8 3,4 1,6 0,2 Ирис сетоса
 12 4,8 3,0 1.4 0,1 Iris-setosa
 13 4,3 3,0 1,1 0,1 Iris-setosa
 14 5,8 4,0 1,2 0,2 ​​Iris-setosa
 15 5,7 4,4 1,5 0,4 Iris-setosa
 16 5,4 3,9 1,3 0,4 Iris-setosa
 17 5,1 3,5 1,4 0,3 Ирис сетоса
 18 5,7 3,8 1,7 0.3 Ирис сетоса
 19 5,1 3,8 1,5 0,3 Ирис сетоса
 3.3 Статистическая сводка 
 Теперь мы можем взглянуть на сводку по каждому атрибуту.
 Сюда входят подсчет, среднее, минимальное и максимальное значения, а также некоторые процентили.
 ...
# описания
print (dataset.describe ())
 ...
 # descriptions
 print (dataset.описать ())
 Мы видим, что все числовые значения имеют одинаковый масштаб (сантиметры) и одинаковые диапазоны от 0 до 8 сантиметров.
 длина чашелистика ширина чашелистика длина лепестка ширина лепестка
счет 150.000000 150.000000 150.000000 150.000000
среднее 5,843333 3,054000 3,758667 1,198667
стандартный 0,828066 0,433594 1,764420 0,763161
min 4.300000 2.000000 1.000000 0,100000
25% 5,100000 2,800000 1,600000 0,300000
50% 5,800000 3,000000 4,350000 1,300000
75% 6.400000 3.300000 5.100000 1.800000
макс. 7.
0 4.400000 6.
0 2.500000
 длина чашелистика ширина чашелистика длина лепестка ширина лепестка
 кол-во 150.000000 150.000000 150.000000 150.000000
 среднее 5.843333 3.054000 3.758667 1.198667
 стандарт 0.828066 0.433594 1.764420 0.763161
 мин. 4.300000 2.000000 1.000000 0.100000
 25% 5.100000 2.800000 1.600000 0.300000
 25% 5.1002000 2.800000 1.600000 0.300000
 50% 5.800000 3.000000
 
 50% 5.800000 3.000000
 50% 5.800000 3.000000
 1.30000
 50% 5.800000 3.000000
 3.4 Класс распределения 
 Давайте теперь посмотрим на количество экземпляров (строк), принадлежащих каждому классу. Мы можем рассматривать это как абсолютный подсчет.
 ...
# распределение классов
print (dataset.groupby ('класс'). size ())
 ...
 # class distribution
 print (dataset.groupby ('class'). Size ())
 Мы видим, что каждый класс имеет одинаковое количество экземпляров (50 или 33% набора данных).
 класс
Ирис сетоса 50
Ирис разноцветный 50
Ирис вирджиника 50
 класс
 Iris-setosa 50
 Iris-versicolor 50
 Iris-virginica 50
 3.5 Полный пример 
 Для справки, мы можем связать все предыдущие элементы в один скрипт.
 Полный пример приведен ниже.
 # обобщить данные
из панд импортировать read_csv
# Загрузить набор данных
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
names = ['длина чашелистика', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'класс']
набор данных = read_csv (URL, имена = имена)
# форма
печать (dataset.shape)
# глава
печать (dataset.head (20))
# описания
печать (набор данных.describe ())
# распределение классов
print (dataset.groupby ('класс').размер ())
 # суммировать данные
 из pandas import read_csv
 # Загрузить набор данных
 url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
 names = ['sepal- length ',' sepal-width ',' petal-length ',' petal-width ',' class ']
 набор данных = read_csv (url, names = names)
 # shape
 print (dataset.shape)
 # head
 print (набор данных.head (20))
 # descriptions
 print (dataset.describe ())
 # class distribution
 print (dataset.groupby ('class'). size ())
 4. Визуализация данных 
 Теперь у нас есть общее представление о данных. Нам нужно расширить это с помощью некоторых визуализаций.
 Мы рассмотрим два типа участков:
 Одномерные графики для лучшего понимания каждого атрибута.
 Многомерные графики для лучшего понимания взаимосвязей между атрибутами.
 4.1 Одномерные графики 
 Мы начинаем с нескольких одномерных графиков, то есть графиков каждой отдельной переменной.
 Учитывая, что входные переменные являются числовыми, мы можем создать диаграммы ящиков и усов для каждой из них.
 ...
# графиков коробок и усов
dataset.plot (kind = 'box', subplots = True, layout = (2,2), sharex = False, sharey = False)
pyplot.show ()
 ...
 # Ящички и усы
 набор данных.plot (kind = 'box', subplots = True, layout = (2,2), sharex = False, sharey = False)
 pyplot.show ()
 Это дает нам гораздо более четкое представление о распределении входных атрибутов:
 Ящики и усы для каждой входной переменной для набора данных Iris Flowers
 Мы также можем создать гистограмму каждой входной переменной, чтобы получить представление о распределении.
 ...
# гистограммы
dataset.hist ()
пиплот.показать ()
 ...
 # гистограммы
 dataset.hist ()
 pyplot.show ()
 Похоже, что две входные переменные имеют гауссово распределение. Это полезно отметить, поскольку мы можем использовать алгоритмы, которые могут использовать это предположение.
 Графики гистограммы для каждой входной переменной для набора данных Iris Flowers
 4.2 Многомерные графики 
 Теперь мы можем посмотреть на взаимодействия между переменными.
 Во-первых, давайте посмотрим на диаграммы рассеяния всех пар атрибутов. Это может быть полезно для выявления структурированных отношений между входными переменными.
 ...
# матрица точечной диаграммы
scatter_matrix (набор данных)
pyplot.show ()
 ...
 # матрица точечной диаграммы
 scatter_matrix (набор данных)
 pyplot.show ()
 Обратите внимание на диагональную группировку некоторых пар атрибутов.Это говорит о высокой корреляции и предсказуемой взаимосвязи.
 Матричный график рассеяния для каждой входной переменной для набора данных Iris Flowers
 4.3 Полный пример 
 Для справки, мы можем связать все предыдущие элементы в один скрипт.
 Полный пример приведен ниже.
 # визуализировать данные
из панд импортировать read_csv
из pandas.plotting import scatter_matrix
из matplotlib import pyplot
# Загрузить набор данных
url = "https: // raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv "
names = ['длина чашелистика', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'класс']
набор данных = read_csv (URL, имена = имена)
# графиков коробок и усов
dataset.plot (kind = 'box', subplots = True, layout = (2,2), sharex = False, sharey = False)
pyplot.show ()
# гистограммы
dataset.hist ()
pyplot.show ()
# матрица точечной диаграммы
scatter_matrix (набор данных)
pyplot.show ()
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 # визуализировать данные
 из pandas import read_csv
 from pandas.plotting import scatter_matrix
 from matplotlib import pyplot
 # Загрузить набор данных
 url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
 names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class']
 dataset = read_csv (url, names = names)
 # графики прямоугольников и усов
 dataset.plot (kind = ' box ', subplots = True, layout = (2,2), sharex = False, sharey = False)
 pyplot.show ()
 # гистограммы
 набор данных.hist ()
 pyplot.show ()
 # матрица графика рассеяния
 scatter_matrix (набор данных)
 pyplot.show ()
 5. Оцените некоторые алгоритмы 
 Теперь пора создать несколько моделей данных и оценить их точность на невидимых данных.
 Вот что мы рассмотрим на этом этапе:
 Отделите набор данных проверки.
 Настройте тестовую жгут для использования 10-кратной перекрестной проверки.
 Построение нескольких различных моделей для прогнозирования видов на основе измерений цветов
 Выберите лучшую модель.
 5.1 Создание набора данных проверки 
 Нам нужно знать, что созданная нами модель хороша.
 Позже мы будем использовать статистические методы для оценки точности моделей, которые мы создаем на невидимых данных. Мы также хотим получить более конкретную оценку точности лучшей модели на невидимых данных, оценив ее на фактических невидимых данных.
 То есть, мы собираемся удерживать некоторые данные, которые алгоритмы не смогут увидеть, и мы будем использовать эти данные, чтобы получить второе и независимое представление о том, насколько точной на самом деле может быть лучшая модель.
 Мы разделим загруженный набор данных на два, 80% из которых мы будем использовать для обучения, оценки и выбора среди наших моделей, а 20% мы будем удерживать в качестве набора данных для проверки.
 ...
# Разделение набора данных проверки
массив = набор данных. значения
X = массив [:, 0: 4]
y = массив [:, 4]
X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, test_size = 0.20, random_state = 1)
...
 # Разделенный набор данных проверки
 массив = набор данных.значения
 X = массив [:, 0: 4]
 y = массив [:, 4]
 X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, размер_теста = 0,20, случайное_состояние = 1)
 Теперь у вас есть обучающие данные в наборах  X_train  и  Y_train  для подготовки моделей и наборах  X_validation  и  Y_validation , которые мы можем использовать позже.
 Обратите внимание, что мы использовали фрагмент Python для выбора столбцов в массиве NumPy.Если это новость для вас, возможно, вы захотите проверить этот пост:
 5.2 Испытательный жгут 
 Мы будем использовать стратифицированную 10-кратную перекрестную проверку для оценки точности модели.
 Это разделит наш набор данных на 10 частей, обучит на 9 и тестирует на 1 и будет повторяться для всех комбинаций разбиений поезд-тест.
 Стратифицированный означает, что каждая свертка или разделение набора данных будет стремиться к тому же распределению примера по классам, которое существует во всем наборе обучающих данных.
 Дополнительную информацию о методике перекрестной проверки в k-кратном порядке см. В руководстве:
 Мы устанавливаем случайное начальное число с помощью аргумента  random_state  на фиксированное число, чтобы гарантировать, что каждый алгоритм оценивается на одних и тех же разделах набора обучающих данных.
 Конкретное случайное начальное число не имеет значения, подробнее о генераторах псевдослучайных чисел можно узнать здесь:
 Для оценки моделей мы используем показатель «точность  ».
 Это отношение количества правильно спрогнозированных экземпляров к общему количеству экземпляров в наборе данных, умноженное на 100 для получения процента (например, с точностью 95%). Мы будем использовать оценочную переменную   при следующем запуске сборки и оценки каждой модели.
 5.3 модели сборки 
 Мы не знаем, какие алгоритмы подходят для этой проблемы или какие конфигурации использовать.
 Из графиков мы получаем представление о том, что некоторые классы частично линейно разделимы в некоторых измерениях, поэтому мы ожидаем в целом хороших результатов.
 Давайте протестируем 6 различных алгоритмов:
 Логистическая регрессия (LR)
 Линейный дискриминантный анализ (LDA)
 K-Ближайшие соседи (KNN).
 Деревья классификации и регрессии (CART).
 Gaussian Naive Bayes (NB).
 Машины опорных векторов (SVM).
 Это хорошая смесь простых линейных (LR и LDA), нелинейных (KNN, CART, NB и SVM) алгоритмов.
 Давайте построим и оценим наши модели:
 ...
# Алгоритмы выборочной проверки
models = []
models.append (('LR', LogisticRegression (solver = 'liblinear', multi_class = 'ovr')))
models.append (('LDA', LinearDiscriminantAnalysis ()))
models.append (('KNN', KNeighborsClassifier ()))
модели.append (('КОРЗИНА', DecisionTreeClassifier ()))
models.append (('NB', GaussianNB ()))
models.append (('SVM', SVC (gamma = 'auto')))
# оцениваем каждую модель по очереди
результаты = []
имена = []
для имени, модели в моделях:
kfold = StratifiedKFold (n_splits = 10, random_state = 1, shuffle = True)
cv_results = cross_val_score (модель, X_train, Y_train, cv = kfold, scoring = 'precision')
results.append (cv_results)
names.append (имя)
print ('% s:% f (% f)'% (name, cv_results.mean (), cv_results.std ()))
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 18
 ...
 # Алгоритмы выборочной проверки
 models = []
 models.append (('LR', LogisticRegression (solver = 'liblinear', multi_class = 'ovr')))
 моделей.append (('LDA', LinearDiscriminantAnalysis ()))
 models.append (('KNN', KNeighborsClassifier ()))
 models.append (('CART', DecisionTreeClassifier ()))
 models.append ( ('NB', GaussianNB ()))
 models.append (('SVM', SVC (gamma = 'auto')))
 # оценить каждую модель по очереди
 results = []
 names = [ ]
 для имени, модели в моделях:
 kfold = StratifiedKFold (n_splits = 10, random_state = 1, shuffle = True)
 cv_results = cross_val_score (model, X_train, Y_train, cv = kfold, scoring = 'precision')
 результатов.append (cv_results)
 names.append (name)
 print ('% s:% f (% f)'% (name, cv_results.mean (), cv_results.std ()))
 5.4 Выбрать лучшую модель 
 Теперь у нас есть 6 моделей и оценки точности для каждой. Нам нужно сравнить модели друг с другом и выбрать наиболее точные.
 Запустив приведенный выше пример, мы получаем следующие необработанные результаты:
 LR: 0,960897 (0,052113)
LDA: 0,973974 (0,040110)
КНН: 0.957191 (0,043263)
КОРЗИНА: 0,957191 (0,043263)
NB: 0,948858 (0,056322)
SVM: 0,983974 (0,032083)
 LR: 0,960897 (0,052113)
 LDA: 0,973974 (0,040110)
 KNN: 0,957191 (0,043263)
 КОРЗИНА: 0,957191 (0,043263)
 NB: 0,948858 (0,08203000)
 SVM: 0,948858 (0,0820322)
  Примечание : Ваши результаты могут отличаться из-за стохастической природы алгоритма или процедуры оценки или различий в числовой точности.Попробуйте запустить пример несколько раз и сравните средний результат.
  Какие баллы вы набрали?  
 Разместите свои результаты в комментариях ниже.
 В этом случае мы можем видеть, что похоже, что машины опорных векторов (SVM) имеют наибольшую оценку точности около 0,98 или 98%.
 Мы также можем создать график результатов оценки модели и сравнить разброс и среднюю точность каждой модели. Для каждого алгоритма существует совокупность показателей точности, поскольку каждый алгоритм оценивался 10 раз (с помощью 10-кратной перекрестной проверки).
 Полезный способ сравнить выборки результатов для каждого алгоритма - создать график в виде прямоугольников и усов для каждого распределения и сравнить распределения.
 ...
# Сравнить алгоритмы
pyplot.boxplot (результаты, метки = имена)
pyplot.title ('Сравнение алгоритмов')
pyplot.show ()
 ...
 # Алгоритмы сравнения
 pyplot.boxplot (results, labels = names)
 pyplot.title ('Сравнение алгоритмов')
 pyplot.show ()
 Мы можем видеть, что диаграммы ящика и усов раздавлены в верхней части диапазона, при этом многие оценки достигают 100% точности, а некоторые опускаются до высокой точности 80%.
 График ящиков и усов, сравнивающий алгоритмы машинного обучения на наборе данных Ирис Флауэрс
 5.5 Полный пример 
 Для справки, мы можем связать все предыдущие элементы в один скрипт.
 Полный пример приведен ниже.
 # сравнить алгоритмы
из панд импортировать read_csv
из matplotlib import pyplot
из sklearn.model_selection import train_test_split
из sklearn.model_selection импорт cross_val_score
из sklearn.model_selection import StratifiedKFold
из sklearn.linear_model import LogisticRegression
из sklearn.tree импортировать DecisionTreeClassifier
from sklearn.neighbors import KNeighborsClassifier
из склеарна.Discriminant_analysis импорт LinearDiscriminantAnalysis
из sklearn.naive_bayes импортировать GaussianNB
из sklearn.svm импортировать SVC
# Загрузить набор данных
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
names = ['длина чашелистика', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'класс']
набор данных = read_csv (URL, имена = имена)
# Разделение набора данных проверки
массив = набор данных. значения
X = массив [:, 0: 4]
y = массив [:, 4]
X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, test_size = 0.20, random_state = 1, shuffle = True)
# Алгоритмы выборочной проверки
models = []
models.append (('LR', LogisticRegression (solver = 'liblinear', multi_class = 'ovr')))
models.append (('LDA', LinearDiscriminantAnalysis ()))
models.append (('KNN', KNeighborsClassifier ()))
models.append (('КОРЗИНА', DecisionTreeClassifier ()))
models.append (('NB', GaussianNB ()))
models.append (('SVM', SVC (gamma = 'auto')))
# оцениваем каждую модель по очереди
результаты = []
имена = []
для имени, модели в моделях:
kfold = StratifiedKFold (n_splits = 10, random_state = 1, shuffle = True)
cv_results = cross_val_score (модель, X_train, Y_train, cv = kfold, scoring = 'precision')
полученные результаты.добавить (cv_results)
names.append (имя)
print ('% s:% f (% f)'% (имя, cv_results.mean (), cv_results.std ()))
# Сравнить алгоритмы
pyplot.boxplot (результаты, метки = имена)
pyplot.title ('Сравнение алгоритмов')
pyplot.show ()
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
000
000 34
 35
 36
 37
 38
 39
 40
 41
 42
 # алгоритмы сравнения
 из pandas import read_csv
 from matplotlib import pyplot
 from sklearn.model_selection import train_test_split
 from sklearn.model_selection import cross_val_score
 from sklearn.model_selection import StratifiedKFold
 из sklearnifier.linear_model import LogisticRegression
002 from sklearnifier_model import LogisticRegression 
002 from sklearnifier_model импортировать 
 LinearDiscriminantAnalysis
 из sklearn.naive_bayes импортирует GaussianNB
 из sklearn.svm import SVC
 # Загрузить набор данных
 url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
 names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class']
 dataset = read_csv (url, names = names)
 # Разделенный набор данных проверки
 array = dataset.values ​​
 X = array [: , 0: 4]
 y = массив [:, 4]
 X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, test_size = 0.20, random_state = 1, shuffle = True)
 # Алгоритмы выборочной проверки
 models = []
 models.append (('LR', LogisticRegression (solver = 'liblinear', multi_class = 'ovr')))
 models.append (('LDA', LinearDiscriminantAnalysis ()))
 models.append (('KNN', KNeighborsClassifier ()))
 models.append (('CART', DecisionTreeClassifier ()))
 models .append (('NB', GaussianNB ()))
 models.append (('SVM', SVC (gamma = 'auto')))
 # оценить каждую модель по очереди
 results = []
 names = []
 для имени, модель в моделях:
 kfold = StratifiedKFold (n_splits = 10, random_state = 1, shuffle = True)
 cv_results = cross_val_score (model, X_train, Y_train, cv = kfold, scoring = ' точность ')
 результатов.append (cv_results)
 names.append (name)
 print ('% s:% f (% f)'% (name, cv_results.mean (), cv_results.std ()))
 # Сравнить алгоритмы
 pyplot.boxplot (результаты, метки = имена)
 pyplot.title ('Сравнение алгоритмов')
 pyplot.show ()
 6. Делайте прогнозы 
 Мы должны выбрать алгоритм, по которому будем делать прогнозы.
 Результаты предыдущего раздела показывают, что SVM была, пожалуй, самой точной моделью.Мы будем использовать эту модель в качестве нашей окончательной модели.
 Теперь мы хотим получить представление о точности модели на нашем проверочном наборе.
 Это даст нам независимую окончательную проверку точности лучшей модели. Целесообразно сохранить набор для проверки на тот случай, если вы допустили ошибку во время обучения, например, при переобучении обучающего набора или утечке данных. Обе эти проблемы приведут к излишне оптимистичному результату.
 6.1 Делайте прогнозы 
 Мы можем подогнать модель ко всему набору обучающих данных и сделать прогнозы на основе набора данных проверки.
 ...
# Сделать прогнозы на основе набора данных проверки
модель = SVC (гамма = 'авто')
model.fit (X_train, Y_train)
прогнозы = model.predict (X_validation)
 ...
 # Сделать прогнозы по набору данных проверки
 model = SVC (gamma = 'auto')
 model.fit (X_train, Y_train)
 predictions = model.predict (X_validation)
 Вы также можете делать прогнозы для отдельных строк данных.Примеры того, как это сделать, см. В руководстве:
.
 Вы также можете сохранить модель в файл и загрузить ее позже, чтобы делать прогнозы на основе новых данных. Примеры того, как это сделать, см. В руководстве:
 6.2 Оценка прогнозов 
 Мы можем оценить прогнозы, сравнив их с ожидаемыми результатами в проверочном наборе, затем вычислить точность классификации, а также матрицу неточностей и отчет о классификации.
 ....
# Оценивать прогнозы
print (precision_score (Y_validation, прогнозы))
print (confusion_matrix (Y_validation, прогнозы))
печать (классификационный_отчет (Y_validation, прогнозы))
....
 # Оценить прогнозы
 print (precision_score (Y_validation, predictions))
 print (confusion_matrix (Y_validation, predictions))
 print (classification_report (Y_validation, predictions))
 Мы видим, что точность удерживаемого набора данных составляет 0,966 или около 96%.
 Матрица неточностей указывает на допущенные ошибки.
 Наконец, отчет о классификации предоставляет разбивку по каждому классу по точности, отзыву, баллу f1 и поддержке, демонстрируя отличные результаты (при условии, что набор данных проверки был небольшим).
 0,9666666666666667
[[11 0 0]
 [0 12 1]
 [0 0 6]]
 точный отзыв поддержка f1-score  Ирис сетоса 1,00 1,00 1,00 11
Ирис разноцветный 1,00 0,92 0,96 13
 Ирис вирджинский 0,86 1,00 0,92 6  точность 0,97 30
 макрос ср. 0,95 0,97 0,96 30
 взвешенное среднее 0.97 0,97 0,97 30
 0,9666666666666667
 [[11 0 0]
 [0 12 1]
 [0 0 6]]
 прецизионный отзыв Поддержка f1-score
 Iris-setosa 1.00 1.00 1.00 11
 versicolor
 Iris- 1,00 0,92 0,96 13
 Iris-virginica 0,86 1,00 0,92 6
 точность 0.97 30
 макросредн 0,95 0,97 0,96 30
 средневзвешенный 0,97 0,97 0,97 30
 6.3 Полный пример 
 Для справки, мы можем связать все предыдущие элементы в один скрипт.
 Полный пример приведен ниже.
 # делать предсказания
из панд импортировать read_csv
из sklearn.model_selection import train_test_split
из склеарна.метрики импорт классификации_report
из sklearn.metrics импортировать confusion_matrix
из sklearn.metrics импортировать precision_score
из sklearn.svm импортировать SVC
# Загрузить набор данных
url = "https://raw.githubusercontent.com/jbrownlee/Datasets/master/iris.csv"
names = ['длина чашелистика', 'ширина чашелистника', 'длина лепестка', 'ширина лепестка', 'класс']
набор данных = read_csv (URL, имена = имена)
# Разделение набора данных проверки
массив = набор данных. значения
X = массив [:, 0: 4]
y = массив [:, 4]
X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, test_size = 0.20, random_state = 1)
# Сделать прогнозы на основе набора данных проверки
модель = SVC (гамма = 'авто')
model.fit (X_train, Y_train)
прогнозы = model.predict (X_validation)
# Оценивать прогнозы
print (precision_score (Y_validation, прогнозы))
print (confusion_matrix (Y_validation, прогнозы))
печать (классификационный_отчет (Y_validation, прогнозы))
 1
 2
 3
 4
 5
 6
 7
 8
 9
 10
 11
 12
 13
 140002
 14
 18
 19
 20
 21
 22
 23
 24
 # делать прогнозы
 из панд импортировать read_csv
 из sklearn.model_selection import train_test_split
 из sklearn.metrics import classification_report
 from sklearn.metrics import confusion_matrix
 from sklearn.metrics import precision_score
 from sklearn.svm import SVC
 # Load dataset ur
 .githubusercontent.com / jbrownlee / Datasets / master / iris.csv "
 names = ['sepal-length', 'sepal-width', 'petal-length', 'petal-width', 'class']
 dataset = read_csv (url, names = names)
 # Отдельный набор данных проверки
 array = dataset.значения
 X = массив [:, 0: 4]
 y = массив [:, 4]
 X_train, X_validation, Y_train, Y_validation = train_test_split (X, y, test_size = 0.20, random_state = 1)
 # Сделать прогнозы по набору данных проверки
 model = SVC (gamma = 'auto')
 model.fit (X_train, Y_train)
 predictions = model.predict (X_validation)
 # Оценить прогнозы
 предсказания))
 печать (confusion_matrix (Y_validation, предсказания))
 print (классификация_report (Y_validation, предсказания))
 Машинное обучение можно выполнять на Python 
 Пройдите по руководству выше.На это у вас уйдет 5-10 минут, максимум!
  Не нужно все разбираться . (по крайней мере, прямо сейчас) Ваша цель - пройтись по учебнику от начала до конца и получить результат. Необязательно все понимать с первого раза. По ходу дела записывайте свои вопросы. Широко используйте синтаксис справки  («FunctionName»)  в Python, чтобы узнать обо всех функциях, которые вы используете.
  Вам не нужно знать, как работают алгоритмы .Важно знать об ограничениях и о том, как настраивать алгоритмы машинного обучения. Но изучение алгоритмов можно будет узнать позже. Вам необходимо постепенно накапливать знания об алгоритмах в течение длительного периода времени. Сегодня начните с освоения платформы.
  Вам не нужно быть программистом на Python . Синтаксис языка Python может быть интуитивно понятным, если вы новичок в нем. Как и в других языках, сосредоточьтесь на вызовах функций (например,  function () ) и назначениях (например.грамм.  a = «b» ). Это поможет вам в большинстве случаев. Вы разработчик и знаете, как быстро освоить основы языка. Просто начните и погрузитесь в подробности позже.
  Вам не нужно быть специалистом по машинному обучению . Вы можете узнать о преимуществах и ограничениях различных алгоритмов позже, и есть множество сообщений, которые вы можете прочитать позже, чтобы освежить в памяти этапы проекта машинного обучения и важность оценки точности с помощью перекрестной проверки.
  А как насчет других шагов в проекте машинного обучения . Мы не охватили все этапы проекта машинного обучения, потому что это ваш первый проект, и нам нужно сосредоточиться на ключевых этапах. А именно, загрузка данных, просмотр данных, оценка некоторых алгоритмов и выполнение некоторых прогнозов. В последующих руководствах мы рассмотрим другие задачи по подготовке данных и улучшению результатов.
 Сводка 
 В этом посте вы пошагово узнали, как завершить свой первый проект машинного обучения на Python.
 Вы обнаружили, что выполнение небольшого сквозного проекта от загрузки данных до составления прогнозов - лучший способ познакомиться с новой платформой.
 Ваш следующий шаг 
 Вы прорабатываете учебник?
 Пройдите по вышеуказанному руководству.
 Перечислите любые вопросы, которые у вас есть.
 Найдите ответы или исследуйте их.
 Помните, что вы можете использовать справку  («FunctionName»)  в Python, чтобы получить справку по любой функции.
 У вас есть вопрос? 
 Напишите об этом в комментариях ниже.
 Еще учебники? 
 Если вы хотите и дальше практиковать свои навыки машинного обучения, ознакомьтесь с некоторыми из этих руководств:
 Откройте для себя быстрое машинное обучение на Python! 
 Разрабатывайте свои собственные модели за считанные минуты 
 ... всего несколько строк кода scikit-learn
 Узнайте, как это сделать, в моей новой электронной книге: 
 Мастерство машинного обучения с Python
 Охватывает  самоучителей  и  сквозных проектов , например: 
  Загрузка данных , визуализация  ,  моделирование ,  настройка  и многое другое...
 Наконец, машинное обучение в 
 
 Ваши собственные проекты
 Пропустить академики. Только результаты.
 Посмотрите, что внутри
 Workers Comp Коды классов 
 NCCI Scopes and Workers 'Comp Classifications 
 Каждый классификационный код состоит из группы
работодатели с аналогичным
воздействия или типы опасностей. Базовый классификационный код обозначает конкретный
вид должностных обязанностей в рамках бизнеса. Следовательно, код класса - это систематический
объединение собственности, лиц или бизнес-операций в группы или категории
по определенным критериям.Такое расположение сделано, чтобы создать основу для
установление статистического опыта и определение ставок оплаты труда работников, а также
избегать несправедливой дискриминации со стороны страховых компаний. Основная концепция
"справедливая дискриминация" заключается в том, что каждый риск должен нести свою справедливую долю от общей
стоимость расходов и убытков в отношении собственных соответствующих расходов и
опасности.
 Код класса Scopes - это идентификационный номер для каждой профессиональной классификации.Это числовой код, присвоенный определенной профессии
рабочие. Код класса зависит от характера работы работодателя и работника.
Большинство работодателей обычно указывают в своей политике два или более кодекса класса.
 Например: код класса 8810 предназначен для канцелярского воздействия, а код класса 5645 - для
общестроительная экспозиция. Подрядчик может иметь рабочих
под кодом класса 5645 и должностное лицо, имеющее рейтинг под кодом канцелярского класса.
 Коды классификации и статистические коды для оплаты труда работников и работодателей
Страхование ответственности (руководство по объему)
 The Scopes Manual - это отраслевой стандарт для работников
кодовая книга классов компенсации, содержащая цифровые классификационные коды и
классификация
фразеология для каждого кода, используемого при классификации рисков компенсации работникам, включая
государственные специальные коды. Руководство NCCI Scopes можно приобрести в NCCI.
 Почему вы хотите правильно классифицировать сотрудников для сотрудников Comp? 
 Если ваша компания когда-либо проходила аудит соответствия работников, то вы знаете, что аудитор пытается определить, учтена ли вся заработная плата и присвоена ли она надлежащему коду или кодам вознаграждения работников. Если аудитор определяет, что сотрудники были неправильно классифицированы, страховая компания может задним числом выставить счет вашему бизнесу на сумму до 3 лет неверно классифицированной премии.
 Неправильный код сотрудников также может со временем отрицательно повлиять на фактор изменения опыта работы на предприятии. Частота претензий и коэффициенты убытков могут отличаться от отраслевых норм, и ваш бизнес может получить более высокий модификатор опыта или рейтинг EMR. Это в конечном итоге увеличивает стоимость страховки работников.
 Некоторые страховые компании могут даже аннулировать покрытие, если обнаруживается, что у компании неправильный код класса. Каждый раз, когда оператор связи отменяет покрытие, об этом сообщается в NCCI.Многие перевозчики не будут предлагать расценки на оплату работникам компании, полис которой был отменен другим перевозчиком.
 Какие государства не используют коды классов NCCI? 
 Есть несколько штатов, которые не используют NCCI.
система классификации.
Калифорния, Нью-Джерси, Нью-Йорк
Йорк, Делавэр и
Пенсильвания используют
их
системы классификации. Многие другие штаты имеют некоторую "специальную" классификацию
которые могут значительно отличаться от стандартных определений NCCI для определенных рабочих мест
коды классификации.Чтобы узнать больше о кодах классов в юрисдикции NCCI
посетить наших государственных служащих
компенсация
каталог.
 Коды продуктов
 и построитель кодов продуктов 
  Что такое код продукта FDA? 
 Код продукта FDA описывает конкретный продукт и содержит комбинацию из пяти-семи цифр и букв.Код продукта, представленный с каждой позицией FDA, должен совпадать с фактическим названием продукта и / или описанием продукта в счете-фактуре.
 Если у продукта более одного названия (например, рыба, известная под несколькими региональными названиями), с кодом продукта может быть связано несколько различных синонимичных определений. Самый простой способ определить код продукта - ознакомиться с самим продуктом, включая этикетку, информацию об обработке, предполагаемое использование продукта, тип контейнера, кто будет использовать или потреблять продукт и т. Д.
 Посетите приложение Product Code Builder Application and Tutorial для получения дополнительной информации о создании кодов продуктов.
 Вернуться к началу
  Какова структура кода продукта FDA? 
 Строка букв и цифр представляет пять компонентов: код отрасли , класс, подкласс, код индикатора процесса (PIC),  и продукт (группа) . 
 Номер
 Письмо
 Буква или дефис (-)
 Буква или дефис (-)
 Буква или число
  Отраслевой код:  Этот элемент состоит из двух чисел от «02» до «98».«Промышленный кодекс определяет самую широкую область, в которую попадает продукт. Некоторые примеры: стоматология для всех стоматологических медицинских устройств и рыболовство / морепродукты для рыбы и морепродуктов.
  Код класса : Этот элемент всегда представляет собой одну букву (a-z) и напрямую связан с отраслью. Он обозначает группу пищевых продуктов, источник, продукт, использование, фармакологическое действие, категорию или виды животных продукта. Класс более конкретен, чем отраслевой код; например, отрасль рыболовства / морепродуктов может содержать такие классы, как ракообразные или рыба горячего копчения.Все продукты будут иметь код класса. Коды классов для радиационно-излучающих продуктов, медицинских устройств и средств диагностики in vitro связаны с буквами продукта (группы), см. Ниже.
  Код подкласса : Этот элемент представляет собой одну букву (az) и представляет тип контейнера, метод применения, использование, рыночный класс или материал, в котором упаковывается продукт. Подкласс должен указывать первичный материал, который контактирует и / или удерживает продукт. Медицинские устройства не имеют кодов подклассов и обозначаются дефисом.
  Код индикатора процесса (PIC) : Этот элемент представляет собой одну букву (a-z) и описывает процесс, хранение или лекарственную форму в зависимости от типа продукта. В случае сомнений вы можете связаться с производителем для обработки информации. Медицинские приборы, косметика и некоторые продукты для животных не имеют PIC и обозначаются дефисом.
  Товар (группа) : Этот элемент состоит из двух символов и может содержать буквы или цифры. Этот элемент имеет прямое отношение к конкретной комбинации отрасли / класса.Этот элемент идентифицирует конкретный продукт. Для медицинских устройств элемент product (group) состоит из двух букв и при использовании вместе с элементом class определяет конкретное медицинское устройство.
 Вернуться к началу
  Примеры кодов продуктов 
  Пример 1: Код продукта питания  
 Продукт: Консервированный томатный суп (концентрированный) 
 Код продукта: 38BEE27
 Пример 1 - Код пищевого продукта
 Формат
 Число
 Письмо
 Буква или дефис (-)
 Буква или дефис (-)
 Буква или цифра
 Образец
 38
 B
 E
 E
 27
 Значение
 Суп
 Суп, Конц
 Металл
 Коммерчески стерильный
 Томатный суп, концентрированный
  Пример 2: Код лекарственного препарата  
 Продукт: Ибупрофен 
 Код продукта: 62GBA41
 Пример 2 - Код лекарственного препарата
 Формат
 Число
 Письмо
 Буква или дефис (-)
 Буква или дефис (-)
 Буква или цифра
 Образец
 62
 G
 B
 А
 41
 Значение
 Лекарственные средства для человека и животных
 Противовоспалительное
 Человек - Комбинированный ингредиент без рецепта
 Таблетки с немедленным выпуском
 Ибупрофен
  Пример 3: Код продукта медицинского устройства  
 Продукт: Аптечка, включая лекарства 
 Код продукта: 79L -
 руб.
 Пример 3 - Код продукта медицинского устройства
 Формат
 Число
 Письмо
 Буква или дефис (-)
 Буква или дефис (-)
 Буква или цифра
 Образец
 79
 L
 Дефис (-)
 Дефис (-)
 RR
 Значение
 Общая и пластическая хирургия
 Комплект
 Аптечка первой помощи
 Вернуться к началу
  Какие ресурсы доступны, чтобы помочь мне создать код продукта? 
 Учебное пособие по построителю кода продукта
: Учебное пособие по построителю кода продукта дает вам информацию, необходимую для успешного кодирования продуктов.Он состоит из семи уроков. Вы можете пройти их по порядку или перейти к уроку, который соответствует вашим непосредственным потребностям. Четыре урока посвящены отдельным товарным группам:
 Урок 4: Кодирование продуктов питания, пищевых продуктов, косметических и витаминных продуктов
 Урок 5: Кодирование лекарств, лекарственных препаратов и биопрепаратов
 Урок 6: Кодирование продуктов для животных
 Урок 7: Кодирование медицинских устройств, продуктов для диагностики in vitro и немедицинских радиационных излучений
 Конструктор кодов продуктов: Приложение «Построитель кодов продуктов» - это инструмент, который можно использовать для создания кода продукта.Основываясь на выбранных вами частях кода, приложение предоставит вам выбор для каждого из пяти компонентов кода продукта (отрасль, класс, подкласс, PIC и продукт). В конструкторе кода продукта есть полезные советы, которые помогут в создании кода продукта.
 Интерфейс прикладного программирования (API) построителя кода продукта: API построителя кода продукта - это веб-сервис, который предоставляет программистам возможность создавать пользовательский интерфейс, который извлекает информацию из базы данных Построителя кода продукта.Это не заменяет текущий онлайн-конструктор кодов продуктов, но дополняет его, предоставляя торговый метод программирования существующего программного обеспечения для запроса и проверки кодов продуктов FDA.
 Вернуться к началу
 Текущее содержание по состоянию на: 
  11.05.2018 
 Тарифы
: подробные данные о тарифах на сайте ВТО 
  Что вы ищете? 
 Сложный, подробный и интерактивный анализ?
 Более простая стандартизированная статистика тарифов, в основном для скачивания?
 С помощью обеих этих служб пользователи могут получить и сравнить два набора
 таможенных тарифов:
 юридически связанных обязательств по ставкам таможенных пошлин, которые действуют как
 потолки тарифов, которые правительства стран-членов могут устанавливать и которые
 известны как связанные ставки, с
 ставки, которые правительства фактически взимают с импорта, которые могут быть
 ниже, известны как применяемые ставки и оказывают прямое влияние на
 торговля.
 «Анализ тарифов онлайн» является наиболее универсальным и подробным.
 Тарифы доступны на уровне тарифной линейки (восемь или
 больше цифр кодов Гармонизированной системы). На этом уровне
 детали, сравнения между странами не всегда возможны
 потому что страны не всегда используют одни и те же кодовые номера для определения
 продукты.
 Тем не менее, Tariff Analysis Online позволяет несколько вариантов
 поиск данных и их онлайн-анализ, включая тарифы,
 тарифные квоты, импорт и обязательства стран по сельскохозяйственной
 субсидии.Результаты можно просмотреть на экране или загрузить и
 напечатан.
 Средство загрузки тарифов   проще. Данные по переплету,
 доступны применяемые и льготные тарифы и статистика импорта
 до шести цифр кодов Гармонизированной системы (HS), которые
 стандарт для всех стран.
 Средство загрузки тарифов предоставляет более подробную информацию, чем треть
 сбор данных, Мировые тарифные профили, где цифры
 для более широких категорий товаров.
 Tariff Analysis Online и средство загрузки тарифов используют две базы данных: интегрированную базу данных (IDB) и базу данных сводных тарифных планов (CTS).
 Интегрированная база данных (IDB) содержит временные ряды тарифов, применяемых членами ВТО и присоединяющимися странами к импорту из других членов ВТО. Данные предоставляются на самом подробном уровне продукта (обычно это восьми-десятизначный уровень продукта или код тарифной позиции). База данных также содержит статистику импорта, включая стоимость и объем импорта по странам происхождения и по тарифным позициям.К этой внутренней базе данных нельзя получить доступ за пределами ВТО. Узнать больше.
 База данных сводных таблиц тарифов (CTS) содержит согласованные максимальные тарифы, которые члены ВТО могут устанавливать на импортируемые товары из других членов ВТО. К этой внутренней базе данных нельзя получить доступ за пределами ВТО. Узнать больше.
 Портал данных ВТО (WTODATA) содержит общие статистические показатели международной торговли, включая связанные тарифы и применяемые тарифы режима наибольшего благоприятствования.
 вернуться наверх
 Таможенные коды и стандартизация 
 Продукты в базах данных идентифицируются с помощью Всемирной таможни.
 Согласованные на международном уровне организации Гармонизированная система (HS).
 В системе определены широчайшие категории товаров.
 по  двузначным разделам  (например, 04 - это молочные продукты, яйца и
 прочие пищевые продукты животного происхождения). Затем они подразделяются, добавляя
 больше цифр: чем больше цифр, тем детальнее
 категории.Например четырехзначный код  или заголовок  0403
 группа продуктов, полученных из молока. На  шесть цифр ,
 0403.10 - это подсубпозиция  для йогуртов; на уровне  с восемью цифрами  0403.10.11 может быть обезжиренным йогуртом  тарифной линии .
 Коды стандартные до шести цифр, самый подробный уровень
 это можно сравнить на международном уровне. Используется в тарифах .
 Скачать Facility .Кроме того, страны могут свободно использовать свои
 собственные определения в соответствии с их индивидуальными требованиями, и это
 отражено в новой версии  Tariff Analysis Online .
 Как анализ тарифов онлайн, так и средство загрузки тарифов позволяют
 данные для загрузки в электронные таблицы Microsoft Excel и другие
 форматы.
 вернуться наверх
 Для каждой страны 
 Эти услуги и данные в более простой форме также доступны через
 страница каждой страны-члена на веб-сайте ВТО (см., например, Аргентину).
No related posts.