problem solving test что это
9 недель с нуля до оффера McKinsey
Victor Rogulenko 05.09.2015
На фото: веранда лондонского офисе McKinsey над площадью Piccadilly Circus. © Victor Rogulenko
По просьбе читателей расскажу по порядку, как готовился и проходил отбор в McKinsey, Bain, BCG и Oliver Wyman. В приложениях смотрите мои резюме и мотивационные письма. Какой результат? Скрининг BCG не прошёл, а от прохождения отбора в Bain и Oliver Wyman отказался после первых раундов, так как получил оффер McKinsey, мой выбор №1. Сейчас я в McKinsey и работаю.
В университете я никогда не участвовал в кейс-чемпионатах и кейс-клубах. Поэтому мой опыт 9 недель будет полезен людям, готовящимся «с нуля». Бывалым кандидатам многие вещи покажутся тривиальными. Повторение – мать ученья.
Disclaimer: я не отбираю сотрудников McKinsey, не провожу собеседования и не обладаю конфиденциальными знаниями по этим вопросам. Всё, что рассказываю ниже – набор собственных действий, которые сработали. У Вас могут сработать, а могут и нет. Включайте мозги, без них не выйдет.
Отбор в любую консалтинговую компанию представляет собой четыре этапа
Целью отбора является выявление кандидатов по ряду критериев. В отношении критериев различия между компаниями минимальны. Подробнее смотрите сайт каждой компании и мою статью здесь.
Критерии:
Задача кандидата – продемонстрировать обладание каждым из них и исключительные навыки (spike) хотя бы по одному. Например, мой spike был в problem solving. Как продемонстрировал: закончил с отличием итальянскую магистратуру с количественным уклоном и первый курс американской аспирантуры по экономике.
Мои шаги до оффера McKinsey
(1) Написал резюме – 2 недели
Резюме – это одностраничный обзор всех главных профессиональных достижений кандидата. Я старался сделать его таким, чтобы читающему захотелось поговорить со мной лично.
Придерживался следующих правил
Кстати, так выглядит шаблон резюме выпускников Стэнфорда. Стоит присмотреться.
(2) Написал мотивационное письмо – параллельно с резюме
Вот, что вышло у меня для McKinsey. В приложении ниже смотрите мои письма в другие компании.
(3) Решил 10 тестов PST – 2 недели
PST нельзя недооценивать. На нём завалилось много опытных и талантливых друзей. Мне повезло: дебаты на английском и жизнь в США вкупе с математической подготовкой в школе и магистратуре помогли. Однако даже такой опыт не заменил бы систематическую подготовку.
Как я готовился к PST
Сейчас много пробных PST можно купить в Интернете. Если после 10 решённых тестов всё ещё испытываете проблемы, купите. Если же Вам потребуется более серьезная подготовка, рекомендую курс по подготовке к PST и более широкий курс по математике в консалтинге.
Подготовка к письменному кейсу оказалась гораздо проще. Я просто решал как можно больше кейсов. Перед интервью в Bain сделал где-то 25 кейсов, и на отборе проблем не возникло.
(4) Прочитал книгу Виктора Ченга “Case Interview Secrets” – 1 неделя
Всего 130 страниц и всё по делу. Чтение остальных книг (Case In Point и проч.), на мой взгляд – трата времени, которого всегда не хватает. Я не читал и Вам не рекомендую.
Что я извлёк из книги: теоритическую подготовку к тестированию гипотез и созданию issue trees, две универсальные структуры (Revenue/Cost и Customer-Product-Competition-Company) и понимание, как придумывать свои.
(5) Прослушал аудиокурс Виктора Ченга “Look Over My Shoulder” – параллельно с книгой
9 показательных кейсов со слабыми, средними и сильными кандидатами. Особое внимание обращал на сильных. Ставил цель достичь их уровня. Периодически прослушивал лучшие записи, уже когда сам решал кейсы с партнёрами.
Что я извлёк из аудиокурса:
(6) Решил 52 бизнес-кейса и столько же дал как коуч – 4 недели
От теории я быстро перешёл к практике решения кейсов. Наиболее эффективной оказалась подготовка вместе с другими кандидатами. За один раз один кейс давал я – напарник решал, а один – напарник, а я решал. В такой ситуации удавалось посмотреть на процесс и глазами кандидата, и глазами интервьюера. Фидбек напарника – штука очень полезная. Но ещё полезнее оказалось давать фидбек самому, потому что видишь чужие ошибки и сам учишься их избегать.
У меня было 8 напарников. Где я их нашёл:
Советую делать акцент на иностранных партнёрах. Зачастую они сильнее российских и дают возможность потренировать английский. Например, у меня было 3 русскоязычных партнёра и 5 англоязычных из Германии, США, Китая и Австралии. Все кейсы решал по Skype.
Важно ли делать кейсы с кем-то из консультантов Большой Тройки? На мой взгляд, нет. Я готовился только с другими кандидатами.
Где я нашёл кейсы? В сборниках кейсов бизнес-школ. Есть у бизнес-клубов и повсеместно в Интернете. У меня тоже сохранилась пара книг – пишите. Ещё есть несколько на сайте McKinsey.
Есть вариант более серьезной и систематичной подготовки – курс по структурированию.
Что я извлёк из практики кейс-интервью:
(7) Подготовил истории из личного опыта – параллельно с решением кейсов
Важная часть отбора, о которой почему-то забывают кандидаты. К счастью, я не забыл и подготовился во всеоружии. Написал по одной истории на каждую из следующих тем:
Как готовить истории? Использовать любой метод детального структурированного рассказа. Моё предпочтение – PARADE Виктора Ченга. Я рассказываю о нём здесь, а сам Виктор Ченг – тут.
Вот, что у меня получилось.
Пример личной истории, демонстрирующей Personal Impact
(8) Подготовил ответы на вопросы – параллельно с решением кейсов
Аналогично историям из личного опыта написал тезисы по каждой из тем
Что я извлёк из этого опыта
(9) Хорошо выспался перед тестом и каждым раундом
Для меня это была важнейшая составляющая успеха. Несколько моих друзей в ночь до теста / интервью спали 2-3 часа и завалили отбор. Я знаю, что плохо выгляжу и соображаю, если мало сплю. Поэтому перед каждым этапом ложился в 10 вечера, вставал в 6, плотно завтракал и заранее ехал в офис. После всех потраченных сил было бы глупо провалиться на ерунде. Я сделал всё, чтобы этого не допустить.
Вот таким образом за 9 недель я подготовился к отбору в консалтинг и успешно прошёл его. Буду рад, если мои заметки окажутся Вам полезными. В приложении смотрите мои мотивационные письма в BCG и Oliver Wyman.
Приложения
Мотивационное письмо BCG (unsuccessful)
BCG CORPORATE FINANCE UNLIMITED WORKSHOP
Dear Recruitment Manager,
I am currently enrolled in the first year of Master of Science in Economic and Social Sciences at the Bocconi University, Milan, and would like to be considered for participation in BCG Corporate Finance Unlimited Workshop, which will take place on February 11 and 12 in Paris.
I believe the Workshop is a unique opportunity to gain valuable practical experience, extend my social network and learn more about a career in BCG’s corporate finance advisory. Indeed, to me it would mean practical application for my theoretical company assessment skills, which I gained while writing my bachelor’s thesis on evaluating particular opportunities for M&A in Russian FMCG retail. Moreover, it would provide a deep insight into the deal’s strategic implications for the client, issue which I briefly got acquainted with at MGIMO-University business debates on acquisition of Gillette by P&G, and which could be most efficiently tackled by BCG consultants – world leaders in business strategy advisory. Finally, presenting recommendations to the board of directors would be a great exercise for both rhetorical skills and coupling thought with action, which is essential for a successful career in any field but is lacking in academic environment.
The Workshop is also a unique networking event, since it will gather top university students from all over Europe, young men and women with diverse backgrounds and experiences but one passion I share, too: strategic consulting. I’m sure to meet them often in my career, that’s why building relations with them at first opportunity is my high priority. Moreover, the Workshop would allow me to plunge into the BCG environment and, constantly collaborating with its consultants and discussing various professional issues, shape my view of a career in the Firm’s corporate finance advisory and of what I should do to take this path.
I would be happy to bring to the Workshop my willingness and ability to communicate within a multicultural environment, which I acquired through my international academic career and work as interpreter. Moreover, multitasking and time management skills I improved during internships at Storewars and Citibank in spring and summer 2010 would ensure my thorough analysis of the case under the time limits, whereas analytical and rhetorical skills I developed at MGIMO Debate Club would help me to present its results efficiently. Finally, my quantitative skills acquired in programming competitions at high school and later through advanced quantitative courses at Bocconi would also find excellent application at the Workshop.
Thank you very much for considering my application.
Мотивационное письмо Oliver Wyman (successful)
OLIVER WYMAN FINANCIAL SERVICES
Dear Recruitment Manager,
I am currently enrolled in the second year of Master of Science in Economic and Social Sciences at the Bocconi University, Milan, and would like to be considered for an Entry Level Consultant position with the Moscow office starting in July 2013.
It is an exciting time to become a financial consultant. In the past decades, the financial sector has gained enormous power over economies, with the financial crisis of 2008 and the current debt crisis of the euro area being notorious illustrations to this new status quo. Once too often banks, regulators, insurers, and other participants in the financial services industry appear incapable of running it efficiently on their own. And this is when financial consultants come into play. Backed with tremendous experience early in their careers due to the exposure to various projects, and equipped with cutting-edge quantitative tools enabling them to conduct rigorous analysis as opposed to general management consulting twaddle, financial consultants are now instrumental to the successful economic development of any country in the world. I want to be one of those people.
Undoubtedly, the best place to be a financial consultant is OWFS. Throughout the years of excellent performance, the Firm has secured its reputation of the thought leader in the industry. Consequently, it works on the most fascinating and influential projects, like the recent Stress Testing Exercise for the Spanish banking sector. The Firm’s main driver (especially in the Moscow office) is Finance and Risk, which places quantitative models on the top of a consultant’s toolbox and is especially appealing to a math-oriented person like myself. Moreover, OWFS employs many advanced economics masters graduates (e.g. from New Economic School), meaning that my background would fit the Firm perfectly.
Besides my strong motivation, there are several reasons to believe I would be a fit for OWFS. I have developed strong problem-solving skills and deep expertise in economics through my Master of Science program at Bocconi University and the exchange year at the Economics PhD program of the University of Minnesota. The latter experience also taught me how to deal with considerable workload and tight deadlines, inevitable companions of any high-caliber PhD. Internship at Citibank, where my colleagues and I together developed database procedures and supported other units on software-related issues, has taught me the importance and benefits of teamwork. I have shown leadership skills through organizing events at MGIMO Debate Club, including two international tournaments, and coaching less experienced debaters. Interpreting for businessmen and politicians, I have improved my communication skills, learned to deal with pressured situations and mitigate conflicts. Finally, speaking 4 languages and having lived in 3 countries, I believe I would both fit in and be able to contribute to Oliver Wyman’s cosmopolitan environment.
I thank you for considering my application and hope very much to be invited for an interview.
Partners in Performance. Интервью с Алексеем Кузнецовым 07.06.2019
9 недель с нуля до оффера McKinsey 05.09.2015
McKinsey Digital Assessment: Review and Prep Materials 08.02.2021
5 reasons NOT to become a management consultant 02.02.2021
Полезные статьи
Как пройти PST-тестирование и его аналоги во время отбора
Многие компании активно используют в отборе тесты, которые позволяют оценить способность кандидатов интерпретировать информацию, рассуждать логически и делать вычисления. Самый известный тест такого типа приходится пройти будущим консультантам McKinsey — они решают Problem Solving Test, или PST. При этом узнать больше о принципах отборочного тестирования и потренироваться стоит не только тем, кто мечтает о стратегическом консалтинге — этой методикой оценки уже вовсю пользуются компании из FMCG, ритейла, банковской сферы. О том, как подготовиться к тестированию по типу PST — в нашей статье.
Что такое PST?
Problem Solving Test (PST) и его аналоги (для удобства будем называть их кейс-тестами) — это особый вид заданий, которые часто используются как один из этапов отбора при приеме на работу (особенно его уважают консалтинговые компании). Кейс-тест представляет собой своего рода заочное кейс-интервью с вариантами ответов и позволяет проверить навыки кандидата в решении бизнес-проблем и оценить его умение работать с информацией и логические способности.
Такие тесты проводятся по-разному. В некоторых компаниях нужно будет приехать в офис и ответить на вопросы теста именно там, при этом вам не разрешат пользоваться калькулятором. Другие устраивают онлайн-тестирование для кандидатов прямо в вузах.
Несмотря на то что в тесте вам встретится много расчетных задач, кейс-тест не является тестом на математические способности. Гораздо важнее умение воспринимать и обрабатывать информацию и делать из нее выводы. Очень часто правильный ответ можно вывести при помощи логических рассуждений и только затем проверить его вычислениями. От вас не потребуется вычислять логарифмы, строить графики или составлять сложные уравнения.
Также, хотя речь идет о решении бизнес-проблем, не обязательно иметь специальное экономическое или финансовое образование. Единственное, что вам нужно, — представлять себе смысл общих экономических понятий для понимания сути вопроса. Например, из чего складывается прибыль и чем она отличается от дохода, что такое рентабельность и почему она выражается в процентах, как посчитать объем продаж и др.
Надеемся, что даже если вы благополучно отучились пять лет на искусствоведа, то сможете вспомнить эти понятия из лекций по экономике, которые были у вас на первом курсе, или из школьного курса обществознания. В противном случае придется немного подготовиться. Если вам предстоит тест на английском языке, советуем заранее посмотреть перевод всех терминов и решать пробные тесты сразу на английском языке, чтобы понимать, в каком контексте какой термин обычно используется.
Три главные ошибки, или Почему так мало людей проходят этап кейс-тестов
Как уже говорилось выше, задания кейс-теста сами по себе не очень сложны и вполне доступны для решения школьнику старших классов с калькулятором в руке. Или даже без калькулятора. В то же время, по статистике разных компаний, от 50 до 70 % соискателей срезаются на этом этапе. В чем заключаются их главные ошибки? Это волнение, неумение быстро считать и невнимательность.
Волнение
Находясь в ситуации отбора, кандидаты испытывают сильный стресс, усугубляющийся ограниченным временем. Как правило, на каждый вопрос теста отводится всего 2–3 минуты. Если вы видите подобный формат задания в первый раз, этого времени недостаточно для успешного решения всех вопросов.
Вот почему обязательно потренируйтесь заранее на пробных тестах — у большинства компаний кейс-тесты выложены в открытом доступе. Пробные варианты помогут разобраться в основных принципах кейс-теста и не дадут растеряться во время самого тестирования.
Попробуйте прорешать тесты в условиях, максимально приближенных к реальным. Например, если вам предстоит очное тестирование, обязательно распечатайте пробный тест, делайте свои вычисления на его полях при помощи ручки и засеките время, которое уйдет у вас на решение всех вопросов. Затем проверьте ответы и еще раз подробно пройдитесь по всему тесту, разбирая ошибки и пытаясь найти максимально короткий путь решения.
Прорешав таким образом несколько тестов, отслеживайте свой прогресс. Спустя некоторое время бывает полезно вернуться к старым тестам, которые вы уже проходили, и решить их еще раз, чтобы убедиться, что вы легко укладываетесь в отведенное время и хорошо представляете себе, как нужно отвечать на каждый вопрос.
Отсутствие навыков быстрого счета
Для эффективного решения теста вам нужно развить умение быстро считать, желательно в уме. Еще раз повторим: вам потребуется овладеть всего четырьмя арифметическими действиями (сложением, вычитанием, делением и умножением) и уметь работать с процентами. Но зато все эти навыки лучше довести до совершенства. Использование калькулятора может быть запрещено, а подсчеты столбиком на бумажке займут много времени.
При решении теста от вас не всегда потребуются точные вычисления. В некоторых вопросах можно сделать лишь приблизительную оценку в уме или на бумаге, чтобы понять, что только один ответ из предложенных наиболее близок к вашей оценке.
Для тренировки счета можно использовать любую свободную минуту, например складывать в уме номера автомобилей, когда вы идете по улице, или решать задачки в удобных мобильных приложениях типа Elevate. И выучите на всякий случай таблицу квадратов до 20.
Невнимательность
Время на решение теста ограниченно, однако излишняя торопливость не приведет ни к чему хорошему. Внимательно читайте задания и варианты ответов. Очень часто в вопросе встречаются подводные камни: тот ответ, который кажется наиболее вероятным, не является таковым. Другая любимая уловка составителей тестов — использование различных единиц измерения (например, на графике суммы указаны в млн рублей, а в ответах — в тыс. рублей) или разных форматов данных (например, от вас требуется посчитать расходы на командировку, а цена за билет дана только в один конец, и нужно не забыть умножить ее на два).
Обязательно обратите внимание на систему подсчета баллов. В некоторых тестах штрафуют за неверные ответы. В этом случае лучше еще раз перепроверить свои вычисления.
Три секрета успешного решения кейс-тестов
Восприятие информации.
При решении теста вам придется иметь дело с большими объемами текстовой и количественной информации. Ее правильное восприятие, понимание и интерпретация — важный фактор успеха.
• Осознанное чтение. Прочитайте сам вопрос и просмотрите варианты ответов до изучения текста задания и графических данных. Таким образом, вы будете более осознанно воспринимать информацию из задания. Если у вас есть распечатанный вариант теста, подчеркивайте важные места ручкой.
• Сканирование информации. Учитесь быстро просматривать текст, отмечая в памяти все важные моменты — те цифры и предложения, которые могут понадобиться вам для ответа на вопрос. Не всегда следует детально изучать каждое слово задания.
• Изучение данных (графиков и таблиц). Тщательно изучите данные — ответ на большинство вопросов содержится именно в них. Обращайте особое внимание на заголовок, легенду, названия осей, единицы измерения и подписи к графикам.
Решение поставленной задачи
Вам будет дано четыре варианта ответа на каждый вопрос. Зачастую у вас не будет достаточно времени, чтобы детально рассмотреть все варианты. Используйте логические рассуждения и ищите кратчайший путь к решению.
• Структурируйте ваше решение. Прежде чем приступить к вычислениям, поймите, в чем заключается суть вопроса, где взять все необходимые данные и как можно вывести из них результат. Не работайте с данными бездумно, не тратьте время, рассчитывая те параметры, которые не влияют на правильный ответ.
• Делайте приблизительные оценки. На первый взгляд может показаться, что некоторые вопросы требуют долгих и сложных вычислений, однако рекомендуем присмотреться к ним повнимательнее. Вполне возможно, для выбора правильного ответа из предложенных вам хватит приблизительных вычислений в уме или на бумаге. Очень часто в вопросе заложен кратчайший путь, который поможет прийти к правильному ответу, избежав запутанных вычислений.
• Не старайтесь обязательно проверить все варианты ответа. Правильный ответ на вопрос может быть только один. Так что если вы однозначно в нем уверены, проверили его расчетами или нашли подтверждение на графике,– идите дальше, не тратьте время.
• Исключайте заведомо неверные варианты ответа. Во многих вопросах можно сразу откинуть 1–2 варианта как заведомо неверные. Совмещая это правило с правилом приблизительной оценки, вы сможете очень быстро разобраться с некоторыми вопросами.
Управление временем
Оцените отведенное вам время и количество вопросов и выработайте стратегию, каким образом должно распределяться ваше время. Сколько времени вы будете тратить на вопросы, где нужны вычисления, а сколько — на текст и логику, сколько времени вы оставите на проверку ответов и их перенос на оценочный лист.
• Аккуратно организуйте ваши вычисления на листе бумаги. Отведите для каждого вопроса отдельное место и обозначьте его. Это поможет вам не запутаться при проверке или при необходимости быстро найти нужные вычисления.
• Помечайте ответы на тестовом задании. Иногда вам выдаются два документа: задания теста и лист для ответов. Вместо того чтобы на каждом вопросе отвлекаться и переносить ответы на оценочный лист по одному, вы можете отметить их на тестовом задании, а потом перенести все вместе. Не забудьте оставить минуту для этого.
• Будьте дисциплинированы. Заранее распределите свое время на каждый тип вопросов и контролируйте его. Не тратьте чересчур много времени на один вопрос. Если какие-то задания кажутся вам слишком сложными, не бойтесь пропустить их и вернуться к ним позднее.
• Отведите специальное время на завершение теста. Бывает очень сложно уложиться в установленный график, поэтому за 10–15 минут до конца пересмотрите весь тест еще раз. Напомните себе, что ваше время ограниченно, и постарайтесь максимально быстро закончить с оставшимися вопросами (этот совет работает только в случае отсутствия штрафных баллов за неверные ответы).
Problem Solving: как решить проблему потери клиентов (кейс Авито)
Один неопытный продакт так сильно хотел улучшить свой продукт, что брался решать проблемы без разбору. В результате он терял много времени и необоснованно расходовал большой бюджет.
Прошло время. Продакт понял, что далеко не со всеми проблемами стоит серьезно работать, а хватать первое пришедшее на ум решение — плохая тактика.
В этой статье мы разберем путь от обнаружения проблемы до анализа результатов ее решения.
Время на чтение: 10 минут
Что будет в статье:
Зачем исследовать проблему
Как выбрать оптимальное решение
Почему нужно анализировать результаты
Чек-лист по решению проблем
Что такое problem solving и почему это важно
Приходит сообщение от сеньор-продакта Ани. Вы скорее открываете его.
Задание
Как думаете, что сделали топ-менеджеры аэропорта?
Задание
Выберите способ, который поможет повысить доверие к сервису.
Вы открываете заметки, чтобы фиксировать важные моменты, и готовитесь слушать.
Бесплатный курс по продакт-менеджменту
За 5 часов вы научитесь применять продуктовое мышление в работе и жизни
Как решать проблемы
Сначала необходимо понять, действительно ли проблему нужно решать. Если это так, то следует рассмотреть несколько вариантов решения. Самый очевидный может оказаться более дорогим и менее эффективным, чем тот, который появился после брейншторма.
В нашем телеграм-канале вы найдете чек-лист по решению проблем и много пользы.
Процесс включает следующие пункты:
Начнем с того, как узнать о проблеме.
1. Узнать о проблеме
Проблемы приводят к тому, что бизнес терпит убытки. Поэтому важно постоянно мониторить процессы и искать возможности сделать их лучше. Сначала рассмотрим, какие бывают проблемы, а затем — как их обнаружить.
Существует два типа проблем:
В функциональности продукта. Проблема появляется, когда продукт недостаточно хорошо функционирует. У него может быть неудобный интерфейс, неочевидная навигация или не хватать опций. Пример — отсутствие карты в мобильном вебе.
В отсутствии функциональности. Проблема появляется, когда продукт вообще не направлен на решение какой-то проблемы, хотя некоторые пользователи этого ждут. Пример — на Авито нельзя купить билет на самолет.
Существует два способа узнать о проблеме: со стороны и внутри команды.
Со стороны. О проблеме могут сообщить пользователи. Например, пожаловаться в сторах на недостатки продукта, обратиться в поддержку с просьбой исправить баг или рассказать о барьерах использования во время интервью.
Некоторые участники интервью упоминали о том, что было бы удобно добавить карту в мобильный веб.
Внутри компании. Гипотеза может возникнуть у стейкхолдеров или членов команды во время брейншторма или в результате изучения метрик.
Команда проверила, как пользователи конвертируются в покупателей в приложениях, версии для ПК и мобильном вебе. Оказалось, что в последнем отток больше, чем на других платформах.
Далее необходимо определить, существует ли проблема.
2. Исследовать проблему
В процессе исследования станет понятно, действительно ли проблему стоит решать и что будет, если этого не сделать.
Понять, существует ли проблема. Бывает, в процессе исследования она оказывается не особо важной, например, не затрагивает много пользователей. Тогда вперед выходят более масштабные вопросы. Также некоторые проблемы могут исчезнуть сами собой, не принеся серьезных потерь.
В нашем случае проблемой является то, что пользователи уходят к конкурентам, у которых есть карта в мобильном вебе. Это доказывают показатели оттока между платформами.
Найти причину. Если решать проблему, работая только со следствием и не задумываясь, чем она вызвана, есть риск упустить более эффективный способ. Вспомните пример про верификацию паспорта. Задав вопрос «Почему пользователи просят добавить проверку личности?» можно найти другой способ увеличить доверие.
Предположить, какие будут последствия. Это позволит понять цену проблемы для бизнеса, если ее не решать или отложить на какое-то время. Может быть, если снижается интерес пользователей к какой-то функциональности, то ее рациональнее убрать, чем тратить бюджет на улучшение.
Гипотезу «Карта снизит отток в мобильном вебе» подкрепляло и то, что часть пользователей использовала карту в десктопной версии со смартфона. Она была неадаптированной и неудобной. В это время мобильный веб был у базы недвижимости Циан. Это повлияло бы на количество пользователей в будущем.
Следующий блок посвящен планированию решения проблемы.
3. Найти возможные решения
Если проблему надо решать, то не стоит выбирать первое, что пришло в голову. Следует подумать, какие есть менее затратные и эффективные способы. Для этого нужно построить дерево решений, приоритизировать идеи и определить критерии успеха.
Разберем каждый этап подробнее:
Провести брейншторм. Он же — мозговой штурм. Это когда команда обсуждает проблему, причем каждый может высказывать даже абсурдные на первый взгляд идеи.
В нашем телеграм-канале вы найдете шаблон для описания решений, который поможет объективно оценивать и выбирать идеи.
Для эффективного брейншторма важно:
Сформулировать четкую цель. Иначе есть риск отклониться от курса и начать обсуждать другие проблемы.
Обозначить правила. У брейншторма должен быть модератор, который следит за таймингом и дает высказаться всем участникам.
Фиксировать идеи во время брейншторма. Если делать это позже, то можно упустить часть из них.
Алексей Рытов, Product owner в Semrush и автор канала Притчи продуктолога , поделился фреймворком для проведения брейншторма, которым давно пользуется. 1. Вы собираетесь группой от трех до двадцати человек и формулируете задачу. Например: «Мы хотим придумать онлайн-конструктор клеток для хомячков и нужны идеи, как бы он мог выглядеть». 2. Затем разбиваетесь на три-пять команд. Если вас немного, то можно по одному человеку. 3. За полчаса-час каждая команда должна придумать, как решить задачу. Например, нарисовать на бумаге прототип онлайн-конструктора. 4. Когда время истекло, вы опять собираетесь вместе. Каждая команда презентует результат своей работы: показывает прототипы, описывает фичи. 5. По итогам интересные идеи и подходы собираются в один список. Теперь у вас есть бэклог с гипотезами. Дальше можете с ними работать — валидировать, прототипировать, просчитывать и брать в разработку.
Построить дерево решений. Это схема, которая демонстрирует серию связанных между собой решений. С ее помощью удобно проследить развитие событий. В нашем случае — как пользователь проходит путь до покупки в карте.
На брейншторме команда выделила несколько идей, как проверить решение о разработке облегченной версии карты, и занесла их на дерево :
Опрос в приложении о том, нужна ли пользователям карта.
Качественное исследование о том, нужна ли пользователям карта.
Fake door тест: фальшивый баннер карты, который предлагает ссылку на приложение.
Из полученных идей предстоит выбрать оптимальную.
4. Приоритизировать идеи
На данном этапе предстоит определиться, какая из идей поможет проверить решение о разработке карты.
Определите критерии. Приоритизация — процесс выбора решения, которое возьмут в работу. В зависимости от ситуации, она нужна для того, чтобы:
выстраивать порядок выполнения задач: от важных к тем, которые могут подождать;
выбирать, какой способ прийти к цели наиболее оптимальный.
При выборе способа достичь цели, как в нашем случае, универсально делается упор на сложность реализации (стоимость разработки) и то, насколько команда верит в решение. Другие факторы зависят от конкретной ситуации.
В задании вам предстоит угадать, какая идея оказалась наилучшей.
Задание
Вы так увлеклись кейсом, что забыли про кофе, и он совсем остыл. Отодвинув чашку, вы просматриваете идеи проверки решения. Какую из них взяли в работу?
Решение необходимо протестировать.
5. Протестировать решение
Перед тем, как внедрять решение, необходимо убедиться в наличии потребности, которую закрывает продукт, а также выделить критерии, по которым можно оценить успешность внедрения.
Определить критерии успеха. Это показатели, по которым мы понимаем, сработало ли решение. Поэтому критерии успеха не должны быть абстрактными и основываться только на фантазии команды. Следует определить конкретные цифры.
В нашем случае существуют три метрики, по которым мы можем понять, нужна ли карта аудитории.
Рассмотрим каждую подробнее:
1. Количество пользователей. Это те, кто ищет недвижимость и пользуется картой. Будет успехом, если доля пользующихся картой мобильного веба сравняется с показателем из приложений и десктопной версии. Допустим, это 30%.
2. Retention. Это доля тех, кто воспользовался картой больше одного раза. Будет успехом, если Retention карты мобильного веба сравняется с показателем из приложений и десктопной версии. Допустим, это 40%.
3. Конверсия в покупку. Нельзя зафиксировать состоявшуюся сделку, если покупка произошла не в сервисе. Однако аналитики Авито отслеживают косвенную метрику: посмотрел ли покупатель номер телефона продавца. Будет успехом, если конверсия карты мобильного веба сравняется с показателем из приложений и десктопной версии. Допустим, на 5% выше, чем в списке.
Если люди будут пользоваться картой неохотно, значит, команда изначально неверно определила аудиторию, у которой есть проблема. Следовательно, если конверсия с карты меньше, чем из списка, то Авито будет терять покупателей.
Проверить потребность. Перед тем, как создавать объемный и дорогостоящий продукт, следует убедиться, что он окупит бюджет и усилия. Для этого недостаточно просто поговорить с пользователями.
В нашем случае узнать потенциальный спрос на продукт помог fake door тест — это фальшивый баннер карты. При клике на него появляется плашка с сообщением, что карта в разработке, но можно скачать приложение, где она уже есть.
Существует опасность, что у пользователей такой трюк вызовет негативную реакцию. Но зато получится собрать ценный фидбек и узнать, сколько людей готовы искать недвижимость на карте.
Узнать барьеры. Если пользователи продемонстрировали интерес к продукту, то не спешите его разрабатывать. Для начала узнайте, что мешает им воспользоваться аналогом. В нашем случае это карта в приложении.
Если пользователь отказывается скачивать приложение, то узнать причину можно двумя способами:
Интервью позволит получить более подробные отклики, а опрос поможет узнать мнение большего количества людей.
В следующем задании представьте, что вы создаете опрос «Почему вы не скачиваете приложение?».
Задание
Вы задумываетесь над заданием. Какие три причины отказаться скачать приложение наиболее вероятны?
Важно — последовательность вариантов ответов должна меняться, чтобы порядок не повлиял на результаты исследования.
Разработать продукт. На этом этапе следует понять, какие фичи базовые и войдут в первую версию. Дополнительные можно добавить позже, если карта понравится пользователям. Такое разграничение позволит сделать релиз быстрее, и в случае неудачи продукт обойдется дешевле.
Команда обсуждала на брейншторме, что должно войти в упрощенную версию карты. Подумайте, к каким результатам она пришла.
Задание
Вы мысленно открываете карту. Все опции полезные, но без некоторых совершенно точно не получится продуктивно искать недвижимость. Какие фичи возьмете в первую версию?
Не стоит ждать позитивных результатов сразу. Часто при первом внедрении сложного продукта эксперимент приводит к падению метрик, так как снижается производительность сервиса. Поэтому важно, чтобы новый продукт не мешал тем, кому он не нужен. Например, не влиял на скорость загрузки страниц в разделе «Транспорт».
В статье 10 стыдных вопросов об A/B-тестировании вы узнаете, что это такое, как проводить и в каких случаях лучше выбрать другой метод. Внутри — шаблон для подготовки эксперимента.
На внедрении продукта работа не заканчивается. Впереди — анализ результатов.
6. Проанализировать результаты
Чтобы понять, решена ли проблема или усилия были напрасными, нужно проанализировать результаты.
Рассказ о кейсе подходит к концу, осталось обсудить только последний этап проблем солвинга.