Термин "метрика" имеет далеко не единственное значение. Коснемся их в общем, заострив внимание на наиболее актуальном на сегодня - "Яндекс.Метрике".

Что такое метрика

Понятие имеет несколько толкований в словарях:

• сокращенное образование от термина "метрический тензор";
• функция, которая призвана определять расстояния в метрическом пространстве;
• ПО-метрика - выраженное в числах значение каких-либо свойств определенного программного обеспечения;
• в поэзии: учение древних греков о ритмике, строении стихотворной речи;
• в теории музыки: специальный раздел, посвященный изучению величины, измеряющей различные ритмические построения, - метру музыкальному;
• синоним свидетельства о рождении, метрический реестр, дворянская родословная книга;
• числовая величина, которая влияет на выбор маршрута следования информации в компьютерных сетях.

Также "Метрика" - это название российской сети строительных гипермаркетов, книга математика Герона Александрийского.

"Яндекс.Метрика"

Сегодня слово чаще всего фигурирует в названии одного из сервисов "Яндекса". В данном ключе "метрика" - это инструмент веб-аналитики, широко используемый в электронной коммерции. В частности, он предоставляет анализ:

• аудитории сайта;
• поведения посетителей на нем;
• выручки и конверсии ресурса;
• источников трафика;
• скорости работы сайта, а также его доступности;
• эффективности той или иной рекламной кампании.

Отчеты "Яндекс.Метрики"

"Метрика" - это сервис, формирующий отчеты:

1. Общей картины посещаемости сайта.
2. Распределения посетителей по (запросы в поисковых системах, ссылка из соцсетей, реклама).
3. Демографической характеристики посетивших сайт.
4. Взаимодействия визитеров с отдельными элементами сайта - переходами по ссылкам, загрузкой контента, просмотром определенных страниц.
5. Воспроизведения маршрута действий посетителя, анализа заполнения тех или иных форм.
6. Сведений о ПО, устройствах, с которых были произведены просмотры.
7. О результатах проверки доступности ресурса системой, о его нагрузке.
8. Для интернет-маркетов: подробная информация о всех заказах, сделанных на сайте.

Все перечисленные опции бесплатны. В "Метрике" всего одна платная функция - "Целевой звонок". Это сводная статистика звонков потенциальных потребителей, которым стал известен номер определенного пользователя из ряда внешних источников.

Метрика - это понятие, определяющее самые разные явления действительности. В свете современных реалий многие в первую очередь ассоциируют слово с одноименным сервисом "Яндекса".

Каждый специалист в области SEO знает, что без анализа вывести сайт в ТОП не получится. Аналитика поможет определить какое направление необходимо доработать. Существуют разные инструменты, позволяющие оценить ресурс, например, Яндекс.Метрика и Google Analytics. С их помощью владелец сайта может получить данные о посещаемости ресурса, источниках, посетителях и много другой полезной информации. Все данные предоставляются в форме отчетов.

Что такое Яндекс.Метрика?

Метрика в поисковой системе Яндекс – это сервис, созданный для проведения аналитики посещаемости ресурса и поведения интернет-пользователей. Сервис функционирует на бесплатной основе, поэтому пользуется большой популярностью.

Установив такой счетчик на своем сайте, вы будете получать развернутую информацию о «жизни» ресурса, оценивать результаты работы рекламы и вложенных в нее денежных средств.

Установить Метрику и привязать счетчик к рекламной компании можно самостоятельно.

Основные понятия

Для того чтобы понимать данные, которые предоставляет сервис, важно знать и разбираться во внутренней терминологии используемой в Яндекс.Метрике:

Чем отличаются просмотры от визитов и посетителей? Предположим, что за неделю ресурс посетило 5 юзеров, причем один из них появлялся на сайте три дня из семи. Тогда просматривая статистику за неделю, мы увидим, что ресурс посетило всего 5 уникальных пользователей. Тот факт, что один из них заходил на сайт несколько раз, в отчете по посетителям не учитывается. А вот в отчете по визитам, как раз учитывается, значит, число визитов будет равно 8. Отчет по просмотрам показывает среднее число страниц, просматриваемое пользователями на данном ресурсе.

Основные отчеты Метрики

Рассмотрим наиболее полезные отчеты, представленные в Метрике:

• По ключевым словам. Поможет выявить «работающие» слова, благодаря которым на ресурс приходят пользователи.
• По площадкам. Показывает РСЯ площадки, на которых отображаются ваши объявления.
• Показатели по источникам трафика. Отображает данные по каналам трафика, благодаря чему владелец сайта сможет определить, какой из них приносит большую прибыль.
• По устройствам. Показывает число пользователей, посетивших ресурс через ПК, мобильный телефон, планшет. Здесь же можно увидеть модели устройств, которыми пользуется большая часть ваших юзеров. Полезный отчет для оптимизации ресурса.
• Половозрастной показатель. Отчет позволяет увидеть, кто чаще (мужчины или женщины) пользуется сайтом и совершает на нем покупки, и каков средний возраст аудитории.
• Время и часы. Помогает увидеть активность пользователей в течение дня или недели.
• География. Отчет для определения региона использования. Помогает определить, где продажи идут лучше.
• Вебизор. Отчет для оценки ресурса помогает выявить его сильные и слабые стороны.

Это далеко не все отчеты, которые вы сможете получить при использовании Яндекс.Метрики. Есть еще огромное количество полезных инструментов, которые помогут вам проанализировать ресурс с разных сторон.

Что значат отказы в Яндекс.Метрике?

Любой поисковик создан с одной целью – получение финансовой выгоды. Чем больше людей используют поисковую систему, тем больше денег получает компания. Именно поэтому для Яндекса важно предоставлять пользователям качественную выдачу, повышая тем самым свою популярность.

Получается, что поисковик постоянно ведет работы для выявления самого полезного сайта. Процесс этот выглядит примерно так: юзер вводит запрос в строку поиска – получает результаты – поочередно нажимает на каждый из них в поисках ответа на свой вопрос. Если через время пользователь снова возвращается к выдаче, то система автоматически воспринимает последний ресурс как некачественный, и он получает отказ в Яндекс.Метрике. А тот ресурс, после которого пользователь прекратил поиски по запросу, и остановился на нем, считается хорошим, по мнению Яндекса.

Таким образом, отказ в Метрике можно получить, если пользователь зашел на сайт и пробыл на нем меньше 15 секунд. Чем больше отказов получает сайт, тем менее качественным он считается, и получает больше шансов попасть под фильтры системы.

Что такое переходы и их влияние на поведенческие факторы?

Рассмотрим влияние переходов на поведенческие факторы на простом примере: пользователь ввел запрос в поисковую строку – получил 10 результатов – зашел на каждую страницу в поисках ответа. Тот ресурс, который дал наиболее полный ответ и больше заинтересовал пользователя, является самым качественным по данному запросу.

Переходы на другие страницы выбранного ресурса положительно сказываются на поведенческом факторе. Только вот не совсем понятна взаимосвязь запросов юзера с переходами на другие страницы. Ведь, если пользователь зашел на сайт интернет-магазина с целью приобрести мобильный телефон, он будет «гулять» по страницам ресурса в поисках нужной модели, но не найдя его вновь обратится к поиску. Где в данном случае улучшение поведенческого фактора и решение вопроса юзера, не понятно. По этой причине показатель переходов в Метрики для многих считается ложным, и его можно смело опускать при оценке поведенческих факторов ресурса.

Настройка Яндекс.Метрики

Поговорим о нюансах настройки Метрики:

• Для получения чистых данных аналитики стоит задать счетчику команду не учитывать ваши личные посещения и посещения ботов поисковых систем;
• Для того, чтобы иметь возможность анализировать поведение посетителей, обязательно активируйте Вебизор;
• Проставьте цели. Они помогут получить аналитику поведения пользователей со стороны важной для вас. К примеру, вам важно, чтобы пользователи просматривали минимум 3 страницы ресурса, укажите эту цель, и Метрика будет считать пользователей достигших ее;
• Пользуйтесь картой кликов. Она покажет, какие элементы страницы больше всего интересуют юзеров.

Правильно настроенная Метрика поможет контролировать воронку продаж покажет, какие элементы требуют доработки, и проанализирует эффективность работы ресурса в целом.

Вебизор

В статье вы несколько раз встречали слово «Вебизор», давайте более подробно разберем, что же это такое.

Вебизор – это сервис, показывающий, что делают пользователи на сайте.

В нем можно увидеть следующие данные о каждом конкретном юзере:

• Откуда пришел посетитель – поисковик, ссылка, прямой переход, реклама;
• Место нахождения пользователя – страна;
• Операционка пользователя;
• Браузер, которым пользуется юзер;
• Время перехода на сайт;
• Активность пользователя на странице;
• Время пребывания на ресурсе;
• Число просмотренных страниц пользователем;
• Запрос, который использовал человек для поиска страницы.

Сервис дает возможность просмотреть ролик посещения, где видны все действия юзера (выделение текста, остановки и прочее).

Инструмент крайне полезный, только вот доступен он лишь клиентам Яндекса, регулярно «вливающим» в Яндекс.Директ более 10 тыс. рублей.

Яндекс.Метрика или Google Analytics?

Выбрать между этими двумя сервисами один довольно трудно. Дело в том, что имеет одни из них, отсутствует в другом, и наоборот. По масштабу и возможностям они отличаются друг от друга, однако оба инструмента важны. Поэтому не стоит выбирать, а лучше использовать оба счетчика. Они прекрасно дополняют друг друга, и дают возможность получать массу полезной информации, с помощью которой вы сможете анализировать качество работы своего ресурса с абсолютно разных сторон.

Метрики - это фуфло, скажите Вы, и будете правы. В чём-то.

Действительно, если речь заходит о метриках, то самая первая первая метрика, которая приходит на ум - посещаемость.

Многие любят медитировать часами глядя на график посещаемости своего сайта.

Как же это круто, наблюдать как скачет линия - туда-сюда, туда-сюда… А еще круче, когда посещаемость сайта растет непрерывно.

Тогда блаженное тепло разливается по всему телу и разум воспаряет к небесам в ожидании манны небесной.

Ах, какая радость, какое блаженство!

И даже если картина печальная…

От графика все равно не оторвать глаз, так он затягивает.

Кажется, что в графике скрыт тайный смысл. Еще немного, и картинка раскроет свои секреты и расскажет невероятно простой и эффективный способ привлечения огромного количества клиентов. И тогда-то деньги точно потекут рекой.

Но на самом деле, посещаемость - типичная “слащавая (тщеславная) метрика”, не несущая в себе полезного смысла.

И таких метрик большинство. В основном все метрики, которые Вы увидите - слащавые. И именно поэтому за метриками сложилась дурная слава бессмысленной траты времени и сил.

Но на самом деле это совсем не так. Правильные метрики дают крайне важную, а порой бесценную информацию для бизнеса и проекта.

Главный бонус и назначение метрик - это то, что они дают возможность управлять Вашим бизнесом или проектом.

Как определить, что метрика плохая?

Давайте рассмотрим очень простой пример - скорость автомобиля.

Скажите, пожалуйста, что обозначает скорость…

100 км/ч?

Так что же она обозначает?

Думаю, Вы, наверное, и сами догадались, что… ничего не обозначает!

Ок. Теперь второй вопрос:

100 км/ч это хорошо или плохо?

Ни то ни другое?

Скорость - совершенно бесполезная и бестолковая метрика. Если, конечно, её использовать саму по себе. В купе с другими метриками она, конечно, может что-то сказать, но сама по себе - точно нет.

Посещаемость сайта - ровно та же самая скорость.

Именно поэтому зависать перед графиком посещаемость сайта нет совершенно никакого смысла. Он не раскроет Вам тайну жизни. Понимаете теперь?

А какие метрики тогда хорошие?

Например, Churn rate. Эта метрика говорит сколько клиентов ушло из компании/сайта навсегда с течением времени.

Churn rate = 1% говорит, что мы теряем всего 1% клиентов. Т.е. почти никого не теряем.

Если же Churn rate = 90%, то это означает, что мы теряем почти всех своих клиентов. Это ужасно!

Видите отличие этой метрики от скорости?

Churn rate - наполненная смыслом метрика, которая отвечает на вопрос, хорошо это или плохо. И Вам не нужно гадать, что она обозначает.

Это метрика, говорящая сама за себя!

И теперь мы готовы предпринять срочные действия, чтобы уменьшить отток клиентов.

Именно поэтому такие метрики называют действенными. Потому что они побуждают к действию.

Критерий “слащавости” метрик

Есть очень простой способ определить, что метрика “слащавая / тщеславная” (англ. vanity).

Большинство абсолютных метрик , таких, например, как посещаемость, количество скачиваний, количество ретвитов, количество email-ов/подписчиков, количество лайков и т.д. являются слащавыми .

Относительные, взвешенные, метрики часто бывают действенными. Но не все!

Что касается качественных метрик, то тут однозначности нет, т.к. качественная оценка сама по себе не может быть точной и однозначной.

Но с другой стороны, оценивать удобство программы можно и нужно именно по уровню восприятия конечных пользователей и никак иначе.

Как подступиться к метрикам в целом?

Первым делом нужно перевернуть мозг.

Без шуток.

Каждый(!) кто сталкивается с метриками, первым делом начинает искать в них причину бытия. Но они ее не покажут, к сожалению.

Метрики - это просто как обычная линейка с помощью которой мы измеряем все, что хотим.

Вы же не ищете причину бытия в обычной деревянной линейке, верно?

Поиск смысла жизни в линейке - это то, что называется “подход снизу-вверх”.

Для правильной работы с метриками нужно сменить парадигму и начать работать наоборот, сверху-вниз.

Т.е. сначала делать какое-то действие, а потом уже с помощью метрик измерять получившийся от него эффект.

Следует использовать метрики как обычный предмет для измерений и не более.

Вдумайтесь в эти слова.

Измеряйте с помощью метрик эффект от Ваших действий, а не придумывайте действия на основании показаний деревянной линейки.

Такой подход ещё называют “Гипотеза->Измерение”.

Ок, с этим понятно.

Вопрос № 2: “А что именно измерять? Как найти правильные метрики?”

Как составить свой набор метрик?

Полазив по Интернету Вы наверняка найдете десятки, а то и сотни различных метрик на одну и ту же тему.

Например, метрик качества ПО можно найти около сотни. Это и стандарты ГОСТР-ИСО, и метрики, рассчитываемые в SonarQube, и какие-то самописные варианты, и даже “качественные” метрики, основанные на отзывах пользователей.

Так какие же стоит использовать, а какие нет?

Самый лучший подход - руководствоваться “основной ценностью”.

OMTM (One Metric That Matters)

Давайте рассмотрим пример.

Понятно, что если Вы хотите улучшить качество Вашего программного продукта, то измерить это качество можно разными путями.

Качество - это не только количество ошибок. Если смотреть на качество в целом, то это:

Количество инцидентов в проме,
удобство использования и простота восприятия,
быстрота работы,
полнота и своевременность реализации запланированного функционала,
безопасность.

Критериев много и работать сразу со всеми невозможно. Поступают очень просто: выбирают один, самый важный в данный текущий момент критерий, и работают только с ним.

Такой подход называется OMTM (One Metric That Matters) - Одна (Единственная) Важная Метрика.

ОМТМ качества ПО логично выбрать количество серьезных (важных и критических) инцидентов в промышленной среде.

Для интернет-магазинов над OMTM вообще думать не надо - это объем продаж или прибыль (в зависимости от Вашего решения).

Эта Одна Важная Метрика и будет основной ценностью для Вашего набора метрик. И именно от неё будет зависеть их финальный набор.

Ценность Inside

Составлять набор метрик часто начинают “от балды”, порывшись в Интернете и выбрав из найденного лучшие варианты по принципу: “О! Это нам подойдет!”

Как Вы понимаете, это не лучший способ, верно?

Но как решить, какую метрику брать, а какую нет?

Например, часто измеряют различного рода конверсии пользователей.

Но почему измеряют именно пользователей, а не что-нибудь еще? Вы не задумывались над этим вопросом?

Естественно, ответ есть.

Давайте рассмотрим интернет-магазин как самый простой для понимания пример.

Допустим, Вы хотите увеличить объем продаж. Какие метрики Вам для этого понадобятся? Как к этому подойти?

Есть один простой, логичный и работающий способ. Всё встаёт на свои места, когда Вы отвечаете на вопрос:

КТО ПРОИЗВОДИТ ЦЕННОСТЬ?

Мы ведь работаем надо объемом продаж, так? Хотим его увеличить, верно?

На кого и на что нужно повлиять, чтобы увеличить объем продаж?

Конечно,

нужно влиять на причину -
на того, кто “производит” ценность.

Кто производит деньги в интернет-магазине? Откуда появляются деньги?

Очень просто: от клиентов.

Где именно в интернет-магазине можно повлиять на клиентов?

Да где угодно!
Верно. На каждом этапе жизненного цикла клиента.

Для представления жизненного цикла удобно строить т.н. “воронку” движения клиента по процессу.

Пример воронки интернет-магазина:

Почему именно так? Потому что клиенты теряются именно при переходах с одного шага воронки на другой.

Увеличивая количество клиентов на каком-либо уровне воронки, мы автоматически увеличиваем результирующий объем продаж.

Простой пример.

Метрика “Процент брошенных корзин” по сути показывает конверсию при переходе от товарной корзины к оформленному заказу.

Допустим, при первом замере Вы обнаружили, что теряется 90% корзин, т.е. из 10 корзин делается только 1 заказ.

С товарной корзиной явно что-то не так, верно?

В результате доработки корзины, процент брошенных корзин уменьшился на 10%, до 80%. Как это выглядит в цифрах?

Из 10 корзин стали оформлять 2 заказа. 100 руб * 2 = 200 руб.

Но это же увеличение объема продаж на 100%! Бинго!

Увеличив конверсию шага всего на 10% Вы увеличили объем продаж на 100%.

Фантастика!

Но именно так это и работает.

Понимаете теперь в чём прелесть правильно построенных метрик?

С их помощью можно добиться фантастического влияния на Ваши процессы.

С интернет-магазином всё довольно просто, а вот как это всё переложить, например, на качество программного продукта? Да точно также:

1. Выбираем основную ценность над которой работаем. Например, сокращаем количество инцидентов в проме.
2. Понимаем, кто и что производит эту ценность. Например, исходный код.
3. Строим воронку жизненного цикла исходного кода и расставляем метрики на каждом шаге воронки. Всё.

Вот, например, какие метрики качества могли бы получиться (на вскидку)…

Показатель ценности:

• плотность дефектов прома на 1000 строк кода

Метрики исходя из жизненного цикла исходного кода:

• доля неудачных компиляций,
• охват автотестами,
• доля неудачных автотестов,
• доля неудачных развертываний.

Метрики исходя из жизненного цикла дефектов:

• динамика обнаружения дефектов,
• динамика исправления,
• динамика переоткрытий,
• динамика отклонений дефектов,
• среднее время ожидания исправления,
• среднее время исправления.

Как видите, тема метрик реально очень важная, нужная и интересная.

Как правильно подобрать метрики:

Выбирайте OMTM, продумывайте её основную ценность и измеряйте производителей этой ценности.

Метрики стройте на основании воронки жизненного цикла производителя.

Старайтесь не использовать абсолютные метрики.

Тема метрик стала популярна на волне движения Lean Startup, поэтому лучше всего начать чтение с первоисточников - книг “Lean Startup” (перевод на русский - “Бизнес с нуля. Метод Lean Startup” на Ozon) и “Lean Analytics” (перевода нет, но книга на английском продается на Ozon).

Кое-какую информацию можно найти в Интернете даже на русском языке, но всеобъемлющего учебника, к сожалению, пока найти не удалось даже в западном сегменте.

Кстати, сейчас появились даже отдельные специалисты “продуктологи”, задачей которых является построение правильной системы метрик для своего продукта и предложение путей по их улучшению.

На этом всё.

Если статья помогла Вам лучше понять суть вопроса, автор будет признателен за “лайк” и перепост.

Метрики быстро становятся самым главным фактором измерения и управления производительностью в связи с целями организации. Однако организации вступают на опасный путь, если они не понимают до конца, что собой представляют и о чем действительно говорят метрики.

Управление производительностью и эффективностью процессов находится сегодня в фокусе внимания многих компаний. Независимо от того, как называть подобные практики - управлением производительностью предприятия, корпорации или же бизнеса (Business, Corporate или Enterprise Performance Management), - все они основаны на метриках, описывающих ход тех или иных процессов в компании. К сожалению, за массой используемых слов часто исчезает понимание того, что представляют собой метрики, каким образом они должны определяться и каким образом можно установить их уместность и полезность.

Метрики

Метрики - суть системы измерений. Нельзя управлять тем, что нельзя измерить. Тот, кто подвергает сомнению правдивость этого утверждения, движется совершенно случайным образом, если вообще в этом случае можно говорить о движении. В контексте управления эффективностью процессов метрики - это измерения элементов процесса относительно некоторой точки отсчета. Системы метрик представляют собой несколько метрик, объединенных с целью отражения функций или процессов.

Сами по себе метрики лишь описывают параметры процессов. Эти процессы могут происходить в области исследований, производства, финансов, операций, маркетинга, услуг или же в любой другой. Очевидно, что чем более детально определен процесс, тем точнее будут результаты его измерений. В общем, метрики можно определить для всех процессов, кроме наиболее аморфных.

Стандарты для точек отсчета бывают двух типов: внутренние и внешние. Внутренние точки отсчета устанавливают целевые значения, которые должны быть достигнуты в бизнес-процессах. Они представляют условия "как есть", но могут использоваться и для измерения прогресса в сторону желательного состояния "как должно быть".

Внешние точки отсчета позволяют сравнивать внутренние метрики компании с метриками других компаний, чтобы понять, как компания выглядит на фоне наиболее успешной практической деятельности в отрасли. Внешние стандарты важны для понимания относительной производительности труда в конкретной отрасли.

В идеале предприятия устанавливают точки отсчета, используя статистические методы. В некоторых случаях (например, при введении совершенно нового процесса) менеджеры произвольно устанавливают первоначальный уровень - возможно, во взаимодействии с консультантами и экспертами в соответствующей области. Но установленный таким образом уровень постепенно будет модифицироваться с учетом действительных измерений и статистических данных.

Управление производительностью

Метрики должны выбираться так, чтобы давать наибольший объем информации при использовании наименьшего объема ресурсов. Выбор метрик, соответствующих задачам бизнеса, лежит в основе успеха стратегии управления производительностью процессов. При использовании метрик на всех участках предприятия факторы, способствующие высокой эффективности бизнеса, становятся очевидными. Без хороших метрик инициативы управления производительностью могут скорее навредить, чем помочь.

Многие компании считают себя слишком занятыми текущими проблемами выживания, чтобы обращаться к "корневым" вопросам качества. "У нас нет времени для теоретических дискуссий", - заявляют они. Эти компании отказываются понять, что если они не сделают попытки вернуть себе контроль, то скоро не станет бизнеса, который нужно сохранять. Но внедрение подходов Six Sigma и других инициатив, связанных с качеством, просветили многие компании и позволили им снова контролировать свой бизнес. Основой их успеха явились метрики, обеспечивающие прозрачность течения бизнес-процессов. Метрики позволили обнаружить, идентифицировать и устранить основные причины: плохое качество, узкие места, дублирующие или конфликтующие процессы, ограничения и другие факторы. General Electric является примером того, какими экстраординарными могут быть результаты: компания получила почти 300%-ную прибыль от вложений благодаря инициативе Six Sigma, показавшей значение метрик для корпорации. Давление конкуренции, финансовой эффективности и усиливающегося регулирования заставляет компании выжимать все из своих процессов.

Соответствие и правильность

То, что источником всех метрик являются цели бизнеса, должно быть аксиомой. Для каждой цели компания должна иметь метрику, чтобы оценить свою эффективность в связи с данной целью. Отсюда - первая необходимая характеристика метрики, соответствие, которое показывает, поддерживает ли метрика цели бизнеса. Если нет, то она бесполезна и не должна использоваться. Проект разработки метрик для предприятия не будет иметь успеха, если будет идти по принципу "снизу вверх". Необходим подход "сверху вниз", решение, какие метрики необходимы для поддержки корпоративного бизнес-плана. Предприятие должно иметь набор хорошо определенных требований к метрикам, связанных с корпоративным бизнес-планом, начиная с уровня топ-менеджмента и ниже.

Есть и вторая необходимая характеристика - правильность и обоснованность самого процесса измерения метрики. Метрика может быть подходящей с точки зрения исходной задачи ее создания, но на деле оказаться неправильной. Она может просто неправильно измеряться и не показывать в реалиях того, чего от нее ждут. Это представляет такую же опасность для бизнеса, как неисправные измерительные приборы в самолете. Ошибочные индикаторы иногда оказываются фатальными для компании. Правильность проведения измерения - это отнюдь не банальный вопрос, особенно в случае с системами метрик. Поэтому специалистами был разработан специальный процесс подтверждения правильности метрик. Он состоит из пяти пунктов:

1. Соотнести метрику с теми целями, которых нужно достичь. Действительна ли связь? Имеет ли она смысл? Какие другие метрики соотносимы с данной целью?

2. Оценить каждый компонент составной метрики (функции, весовые значения, измерения) с точки зрения корректности и приемлемости. Если разложить составные метрики на компоненты, то будет видно, какие из них оказывают сильное влияние на данную метрику. Очень полезно проверить правильность компонентов во всех возможных сценариях. Если используются весовые значения, нужно проверить, нуждаются ли они со временем в корректировке. Если да, то когда в последний раз они корректировались, и какой процесс был использован, чтобы получить и подтвердить весовые значения? Документирован ли этот процесс?

3. Проверить качество и применимость всех входных данных для метрики . Так же, как анализ метрики, компонент за компонентом нужно оценить используемые входные данные. "Что посеешь - то и пожнешь" - эта пословица здесь актуальна как никогда. Несомненно, что это соображение должно также привести к анализу метрик, находящихся раньше по ходу процесса и генерирующих данные.

4. Проверить применимость результата метрики для других метрик . Применимость результата метрики, находящейся раньше по ходу процесса, влияет на текущую метрику. Значит, вы, доказав корректность метрики в этой точке процесса, должны будете проверить, приложима ли данная метрика к метрикам, находящимся дальше по ходу процесса.

5. Выполнить анализы на чувствительность метрики. Оказывают ли входные данные линейное или экспоненциальное влияние на значение метрики? Влияют ли данные на весовые значения, присвоенные компонентам метрики? Повторяемы ли результаты?

Сначала может показаться, что некоторые из этих шагов повторяются. До какой-то степени это действительно так. Здесь важно понять, что качество метрики не ограничено одним шагом, оно важно на протяжении всего процесса. Анализ отдельной метрики должен осуществляться в контексте цепочки метрик для этого процесса.

Жизненный цикл метрик

Отдельно стоит сказать об изменениях метрик. Казалось бы, разработав и испытав метрику, зачем нужно постоянно подтверждать ее? Но ведь то, что справедливо сегодня, завтра может стать неуместным. Бизнес приспосабливается, а адаптация влияет на те предположения, на основе которых действует бизнес. Изменение в одной области будет иметь эффект на всем предприятии. Метрики, используемые в областях, в которых происходили изменения, окажут влияние на подчиненные метрики, используемые в других местах. Влияния могут чувствоваться либо не прямо - например, через метрику для процессов, находящихся ниже по течению, - либо непосредственно, когда результаты метрики служат ключевым компонентом в системе метрик.

Хорошая стратегия использования метрик - это использование концепции жизненного цикла метрик (MML - metrics management life-cycle). MML определяет процедуры и средства контроля в области анализа проектирования, разработки, мониторинга, корректировки/модификации и, наконец, отмены каждой метрики. Таким образом можно поддерживать соответствие и правильность метрики, быть уверенным, что индикаторы действительны и точны, а действия, предпринимаемые на основе метрик, правильны.

Выбор метрик

Просуммировав опыт нескольких проектов, можно привести некоторые универсальные рекомендации по выбору метрик внутри организации.

1. Стоимость метрики . Стоимость проекта выбора метрик часто игнорируется. Стоимость каждой метрики - это сумма издержек на постоянный сбор, компиляцию, хранение, обсуждение, анализ, управление и поддержку коллекции метрик и ее хранилища. Ожидаемая стоимость каждой метрики не только влияет на разработку первоначальной стратегии выбора метрик, но и остается важным фактором на протяжении всего цикла жизни метрик.

Получение преимуществ благодаря использованию метрик связано с экономией времени и затрат, а также с повышением качества и эффективности. В идеале еще до начала программы выбора метрик необходимо определить стандарты точек отсчета, чтобы возврат от вложений (либо какая-то другая приемлемая единица) мог количественно обозначить полученную прибыль. Если нет таких стандартов точек отсчета, оценки могут оказаться неприемлемыми.

2. Допуски в метриках . Понятно, что в измерении любой метрики есть допуски. Будучи определены слишком свободно, допуски могут становиться источником проблем. С другой стороны, если допуски определены слишком строго, это может привести к чрезмерным и ненужным предупреждениям или даже остановкам процесса.

3. Поведенческие факторы . Задача метрик состоит в том, чтобы помочь найти ответы на вопросы типа "кто, что, где, когда (как часто), почему и как". Поэтому при определении системы измерений имеют большое значение конкретность и недвусмысленность, которые позволяют избежать манипулирования метриками с целью искажения результатов. Чем конкретнее будет указано, что является правильной и надежной метрикой, тем меньше гибкости будет для интерпретации результатов. Кроме того, эксперты дают ряд советов, как избежать поведенческих проблем.

Первый совет - использовать несколько метрик (две или более, комплиментарные по своему характеру) в отношении отдельного процесса. Это обеспечит контроль и баланс метрик. Примером может служить тройное ограничение по стоимости, времени и качеству в проектном управлении: нельзя воздействовать на одно из них, не задевая одновременно и два других.

Второй - применять метрики к процессу так, чтобы они отражали то, как воздействуют изменения подчиненных процессов на данный процесс. Например: "Процесс А нельзя повернуть назад во избежание затрат, не оказав отрицательного влияния на доступность материала в процессе В, находящемся ниже по течению. Это приведет к исключению процесса В".

Портфель метрик

Портфель метрик - это хранилище, архив данных, в котором однозначно идентифицируются все метрики с их атрибутами, используемые предприятием.

Как правило, портфель метрик должен включать следующие атрибуты:

• имя метрики;
• контекст метрики, идентифицирующий группу, к которой относится данная метрика, - например, отдел, отделение или группу/рабочий центр (заметим, что некоторые метрики могут найти применение в нескольких контекстах);
• описание функциональности метрики;
• входная информация, процессы и данные, которые поступают непосредственно в метрику (включая те, что взяты из метрик, находящихся ранее по ходу процесса);
• формулы, описывающие внутренний процесс обработки, осуществляемый данной метрикой;
• выходные данные, информация, полученная в результате использования метрики, а также непосредственные нисходящие зависимости метрики.

Опыт показывает, что портфель метрик - это очень удобный способ работы с метриками. Когда предлагаются новые метрики, можно просмотреть портфель, чтобы проверить, не существует ли метрика в той же самой или подобной форме. Если она существует в идентичной форме, то понятно, что предлагаемая метрика - это всего лишь другое применение старой или другой контекст. И опять же необходимо гарантировать, чтобы метрики сохраняли свою независимость. Если предлагаемая метрика подобна уже существующей, то следует рассмотреть возможность объединения двух вариантов в одну метрику, которую впоследствии можно будет использовать в разных контекстах. Таким образом мы по возможности избежим появления дубликатов и близких вариантов. Бизнес приближается к тому, чтобы управление процессами и отчетность осуществлялись в реальном масштабе времени. По мере этого активная работа с портфелем метрик будет становиться все более важной для стандартизации, координирования и управления правильным использованием метрик на предприятии.

Проект по созданию метрик

Реализация программы, имеющей целью создание портфеля метрик, может представлять серьезную проблему. Люди противятся изменению, такова человеческая природа. В среднем программа создания метрик состоит из следующих шагов.

1. Согласование определений . Без этого шага чрезвычайно трудно осуществлять связь между разными контекстами, используемыми на предприятии. Слово "определение" используется здесь в рамках бизнес-процессов и их атрибутов: метрика, измерение, объект (организационная единица, единица данных), деятельность, задача и т. п. Чтобы "согласовать" определение, необходимо идентифицировать контекст, в котором используется слово. Затем идентифицировать антонимы и синонимы и сделать эти определения совместными внутри контекста. Наконец, начать отражение в другие контексты. Таким образом, согласованными являются определения, данные словам или стандартизированным группам слов, которые делают их совместимыми или переводимыми из одного контекста в большое число других контекстов.

2. Разработка структуры и атрибутов портфеля или архива метрик . Это источник документации и определений метрик. Архив позволяет сохранять в базе данных историю измерений, что может оказаться важным впоследствии. Сохранение этой информации в центральном архиве, доступном для всех, позволяет обеспечить гарантии совместимости и достоверности метрик.

3. Моделирование бизнес-процессов . Это должно быть отдельным проектом, причем в нем метрикам уделяется мало внимания. Полученная модель будет критическим компонентом инфраструктуры, необходимой для идентификации и собирания соответствующих метрик. Независимо от того, будет ли использоваться методология IDEF1x, Business Process Management Initiative (BPMI) или что-то другое, процесс моделирования должен быть стандартным и формальным для всей организации. В противном случае - компанию ждет дорогостоящий трудный процесс отображения одной методологии в другую, и, скорее всего, провал усилий по созданию метрик.

4. Идентификация благоприятных возможностей применения . По завершении первых трех шагов откроется множество возможностей для сбора и применения метрик. Во время процесса идентификации не следует выпускать из вида как затраты, так и преимущества, связанные с использованием метрик. Появится много возможностей, которые необходимо будет оценить и приоритезировать в соответствии с такими критериями, как, например, потенциальная экономия или ROI.

5. Запуск пилотного проекта . Пилотный проект должен быть небольшим, но оказывать заметное влияние. Этот проект начнет формальный процесс разработки и использования метрик на предприятии и продемонстрирует их преимущества. Первым шагом пилотного проекта должно быть измерение текущего состояния характеристики процесса, с тем чтобы можно было показать эффективность программы использования метрик.

6. Разработка BI-политики . Портфель метрик может облегчить анализ данных на всем предприятии. Частью проекта по разработке метрик, как правило, является выявление наиболее эффективных методов, процессов и форматов для представления метрик пользователям всей организации. Именно поэтому разработка метрик обычно инициирует последующие BI-проекты.

CIO и метрики предприятия

Ясно, что получение метрики - это прямая функция информационных технологий. CIO хорошо осведомлены о том давлении, которое оказывается на их бизнес. Они понимают, что если ИТ-отдел не может удовлетворить потребность в создании метрик или слишком медленно принимает новые технологии, то CIO несдобровать. Вместе с тем создание метрик оказывает влияние на ИТ-инфраструктуру предприятия. Основных направлений два: время и ресурсы; квалификация.

1. Время и ресурсы . Прежде всего речь идет о затратах времени, связанных с созданием инфраструктуры и образованием портфеля метрик. ИТ-ресурсы играют важную роль в решении задач, связанных с метриками. Потребуются средства, а также персонал, чтобы собрать, объединить и представить информацию по метрикам для своей организации. Кроме того, как только метрики начнут вычисляться, пойдет поток запросов к базам данных предприятия. По мере накопления запросов возникают модели, указывающие на сходство типов запросов и поставляющих их групп. CIO должны будут организовать анализ этих запросов в рамках предприятия. Один из результатов - разработка повторно используемых компонентов для множества метрик с перекрещивающимися функциями.

2. Квалификация . Несмотря на то что IT-профессионалы должны неплохо разбираться в бизнесе компании, их основной интерес находится в сфере технологии. Они имеют общее представление о бизнесе и его экосистеме, но, как правило, их знания в области финансов, операций и в других специфических областях бизнеса недостаточно глубоки. Однако опыт показывает, что проект по созданию метрик предприятия ведет к повышению бизнес-квалификации CIO. Компании, которые реализовали в своих организациях принципы Six Sigma, повсеместно включали ИТ-менеджеров в проектные команды. И это вполне оправданно, ведь работа с метриками требует еще более тесной связи между ИТ и бизнесом. Это важно для достижения не только довольно общей цели - облегчения понимания ИТ-специалистами задач и стратегий бизнеса. Преследуется и более специфическая цель: более тесная привязка к задачам бизнеса поможет ИТ-специалистам приобрести основательные знания KPI-метрик (key performance indicator- ключевые показатели эффективности).

Разрабатывая портфель метрик для вашей организации, вы предпринимаете шаги, конечная цель которых - прозрачность хода процессов предприятия - достигается нелегко. И поначалу, подавляющее большинство таких проектов сталкивается с проблемами, обусловленными непониманием персонала, явным и неявным сопротивлением и т.д. Но как только пользователи предприятия увидят преимущества прозрачности процессов, которая становится возможной благодаря портфелю метрик, интерес к этому проекту чрезвычайно возрастет. И если в этот момент провести соответствующее обучение персонала, то у проекта будет очень большой шанс на успех.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подписаться

Не так давно мы с вами выяснили, кому и , а сегодня я предлагаю рассмотреть основной вопрос, касающийся конверсии сайта, – .

Как вариант, настроить цели можно на:

1. просмотр страницы контактов (то есть посещение определенной страницы на сайте);
2. отправку заявки на обучение (в этом случае цель, как правило, настраивается на отправку формы );
3. общение с оператором в онлайн-чате;
4. покупку или заказ услуги.

И, соответственно, чем больше число выполнения таких действий, тем выше конверсия, прибыль и, как следствие, довольнее рекламодатель.

Цели в Яндекс.Метрике помогают оценить эффект

Допустим, мы запускаем курсы флористики. Делаем красивый сайт, вкладываем деньги и запускаем рекламу.

Неизвестно. Известно лишь количество трафика.

Тогда мы ставим счетчики аналитики и настраиваем цель на отправку формы онлайн-заявки. Картина начинает проясняться. Например, мы получили следующие цифры:

• Показы – 5655.
• Клики – 501.
• CTR – 8.86.
• Цена клика – 30 рублей.
• Общий расход на рекламную кампанию – 15030 рублей.

За месяц работы было получено 9 заявок, из чего мы делаем вывод:

1. CPA (с англ. «cost per action» - цена за действие) составил 1670 рублей;
2. CR (коэффициент ) равен 1,8%.

Пусть прибыль с одного ученика составляет (именно прибыль, то есть цена курса минус себестоимость) 3000 рублей. Тогда, пользуясь формулой:

мы получим

ROI = (9*3000 – 15030) / 15030 * 100% = 79,64%

Правда, увлекательная математика?

Безусловно.

Почему настройка целей так важна?

Давайте вернемся к нашим барашкам. То есть целям.

Если рассматривать цели в Яндекс.Метрике , то можно разделить их на следующие типы:

• количество просмотренных страниц сайта;
• посещение определенной страницы сайта, важной для рекламодателя;
• выполнение пользователем определенного действия на сайте(цель «событие» в Яндекс.Метрике ).

Кроме того, существует такое понятие, как составная цель в Яндекс.Метрике (состоящая из нескольких шагов). Например, для интернет-магазина она может выглядеть так:

1. пользователь нажал кнопку «Купить» под одним из товаров;
2. пользователь пришел в корзину;
3. пользователь заполнил свои контактные данные и поля оплаты;
4. пользователь нажал кнопку «Оформить заказ».

Или на конкретном примере у нас есть составная цель:

Если мы рассмотрим каждый этап, то увидим следующую картину:

Настройка целей крайне важна когда мы хотим понять, на каком этапе, почему, а главное - сколько посетителей отказываются от покупки.

Может быть их изначально не устраивают цены - тут не то что до оформления заказа, а и о посещении корзины речи практически не идет. А может быть, заходя в корзину и видя количество полей, которой нужно заполнить, пользователь решает, что лучше он купит где-нибудь еще. Все индивидуально.

Опять же эти знания полезны для пресловутого ремаркетинга, того самого механизма, который позволяет возвращать на сайт пользователей, которые на нем уже были.

Однако, даже настроив все цели, нельзя сказать, что мы отслеживаем все.

Наверняка, каждый сталкивался с ситуацией, когда он ввел запрос, нажал на объявление, попал на сайт, получил нужную информацию, заинтересовался и позвонил по номеру, указанному в шапке сайта, где милая девушка помогла оформить заказ.

Да.

Узнаем мы об этом?

Только если пользователь сам на радостях нам об этом расскажет. Но, согласитесь, это уже почти фантастика.

То есть заявок нет, эффект есть, но ни агентство, ни рекламодатель об этом не знают. И начинаются пляски с бубном.

В таком случае идеальным вариантом будет подключить call-tracking – механизм отслеживания звонков. Сейчас существует огромное количество сервисов на любой вкус, цвет и кошелек. Было бы желание.