23. 2. 2017
Rozhlasová sekce Sdružení komunikačních a mediálních organizací (RS SKMO), společně s Asociací mediálních agentur (ASMEA) v říjnu a prosinci zadala dva nezávislé audity studie RADIOPROJEKT. Důkladná expertní prověrka datových souborů a procesů přinesla potvrzení vysoké validity a odborné kvality kontinuální studie, která se v samostatné podobě realizuje již 10 rokem, na druhou stranu ale i doporučení k řadě inovací.
Oba audity se shodně zaměřily na porovnání realizace výzkumného projektu u realizátorů Median a STEM/MARK. Realizace ve dvou nezávislých agenturách, kterou na začátku studie rozhlasový trh zvolil, se jeví jako prozíravá. Ukázaly to např. problémy v minulém roce v sousedním Rakousku, kde je výzkum poslechovosti rádií v rukou jediného realizátora. Na druhou stranu kombinace dvou realizátorů může přinést problémy, pokud by se odlišnosti obou agentur nějakým způsobem promítaly do sběru a zpracování dat. RADIOPROJEKT probíhá metodou telefonického dotazování 30 tisíc respondentů ročně, přičemž každá z agentur osloví polovinu z tohoto vzorku. Výsledky jsou zveřejňovány čtvrtletně, vždy za období posledních šesti měsíců.
První expertní analýzu provedl tříčlenný tým Katedry pravděpodobnosti a matematické statistiky Matematicko-fyzikální fakulty Univerzity Karlovy a zaměřil se na posouzení metodiky a na porovnání datových souborů v každé z agentur. Při použití stejné metodologie by totiž u tak velkého vzorku, jakým je 15 tisíc respondentů za půl roku mělo docházet k minimálním statistickým odchylkám datových souborů jednoho realizátora vůči druhému. „Důkladné statistické testování, metodologická síla odborníků z akademické sféry i jejich odstup od komerčního využití dat nám pomohly získat opravdu nezávislý pohled na to, jak studie odráží realitu“, říká Petr Uchytil ze společnosti Lagardere Active. Na druhou stranu se potvrdilo, že jde jen o odhad reality, který nemůže být i při takto velkém vzorku zcela dokonalý. Cíl zadavatelů projektu je jasný, přinést validní data o poslechu rádia pro každou cílovou skupinu konzistentně se strukturou populace, což se neobejde bez doplnění náhodného výběru doplněním kvót a vážení. To byla také problematika, kterou akademici podrobně zkoumali a nejvíce diskutovali.
Mezi jejich hlavní doporučení patří zejména okamžité snížení zastoupení pevných a zvýšení mobilních linek, tak aby lépe odrážely realitu a zabránilo se duplicitám oslovení u majitelů pevné linky a mobilu. Doporučeny byly také inovace ve statistickém zpracování. „Při prezentaci výsledků jsem apeloval na to, aby vždy bylo řečeno, že jde o odhad a byla uváděna statistická chyba, “ uvedl Marek Omelka, který vedl tým MFF UK. „Na druhou stranu celkově hodnotíme studii RADIOPROJEKT jako velmi solidní, nezjistili jsme podstatné chyby v metodice ani její realizaci a tento výzkum přinejmenším velmi dobře obstojí při srovnání s měřením poslechu rádia v nejvyspělejších zemích světa.“
Druhý audit provedlo profesní sdružení SIMAR, primární autorita na českém trhu, která se zabývá mimo jiné budováním a propagací metodických a etických standardů marketingového výzkumu. Jejich audit se zaměřil na metodické zpracování, zejména procesy, kterými je sběr dat RADIOPROJEKTU v každé výzkumné agentuře realizován. „I naše závěry jsou jasné“, říká výkonná ředitelka SIMAR Hana Huntová: „Postupy sběru a zpracování dat u každého z realizátorů odpovídají stanovené metodologii a nejsou vzájemně natolik rozdílné, aby mohlo dojít k ovlivnění výstupů o poslechu rádia během některé z vln RADIOPROJEKTU.“ Drobné technické a organizační rozdíly dvou konkurentů – Median a STEM/MARK jsou spíše ku prospěchu kvality. I SIMAR však navrhl řadu doporučení. Nejprve navrhuje aktualizaci metodiky, aby lépe odpovídala reálným možnostem dotazování a zpracování dat v roce 2017. „Dále bychom doporučili smělejší zapojení zadavatelů výzkumného projektu v rozhlasové sekci. I u takto dlouhodobé studie se vyplatí experimentovat a provádět pilotní průzkum návazných oblastí. Jedině tak bude měnová studie nadále zdravá a atraktivní nejen pro zadavatele reklamy, ale i širší publikum marketingových odborníků,“ doplňuje Huntová.
Reakce zadavatelů na audit
Michel Fleischmann, APSV
Audity ukazují opakovaně na to, že RADIOPROJEKT odráží realitu poslechu poměrně dobře a realizátoři dělají svou práci zcela korektně. Byl bych rád, kdyby se auditory doporučená snaha inovovat tuto stabilní měnovou studii brzy odrazila v konkrétních akcích a těsnější spolupráci realizátorů i zadavatelů.
Petr Uchytil, Lagardere Active ČR
I přes všechny drobné nedostatky je RADIOPROJEKT to nejlepší, co máme pro monitoring poslechovosti rádií v ČR a audit to znovu potvrdil. Data RADIOPROJEKTU jsou navíc kromě běžných analytických softwarů dostupná pro každého, v základní formě si zdarma stačí nainstalovat aplikaci Radiometrics do mobilu. Vždy, když aplikaci aktualizujeme o novou vlnu dat RADIOPROJEKTU, během prvního dne si data stáhne přes tisíc lidí. Není to málo, ale vzhledem k počtu lidí pracujících v marketingu, máme při propagaci měření poslechovosti RADIOPROJEKTEM stále co dohánět.
Václav Hradecký, Český rozhlas
Oba audity se dobře doplňují v závěru, že metodika RADIOPROJEKTU představuje vysoký standard a že jeho realizace oběma agenturami přináší v rámci možností spolehlivé a validní výsledky. Už seminář, který RS SKMO uspořádala k metodologii výzkumu rádia v loňském roce ukázal, že ani jiné renomované agentury by nešly jinou cestou a že dosažení úrovně, kterou udržují současní realizátoři není snadné dosáhnout. Audit nám potvrdil, že současný projekt je kvalitní. Nepřinesl ani nepotvrdil možné pochybnosti o jeho realizaci. Spolupráce s akademickou sférou nabídla podněty, na využití moderních statistických metod při hledání optimálního vytěžení získaných dat. Věřím, že spolupráce s MFF bude v tomto směru dále pokračovat.
Pavel Stejskal, RADIO UNITED SERVICES
Hlavní zprávou realizovaných expertních posudků je pro nás především potvrzení CATI metody jako funkčního nástroje zjišťování odhadů poslechového chování. I po deseti letech realizace RADIOPROJEKTu je dobré, mít nezávislými institucemi potvrzen minimálně evropský standard kvality. Jako hlavní úkol nyní vnímáme v rámci RS SKMO, uchopit doporučení expertů za ten správný konec, co nejrychleji je aplikovat a především se z nich poučit pro budoucí běh měnového projektu výzkumu poslechu rádií v ČR.
Ondřej Novák, ASMEA
Předpokládám, že nikdo ani nečekal, že audity nepotvrdí fakt, že RADIOPROJEKT je realizovaný kvalitně, a to oběma realizátory. To pokládám za samozřejmé. A u toho to nemůže skončit. Audit je tak z mého pohledu první „nutný“ krok na cestě k dalšímu rozvoji RADIOPROJEKTU tak, aby to byl nejen projekt kvalitně realizovaný, ale také moderní, svěží a rozvojový.
Pavel Lupjan, Media Marketing Services a.s.
Radioprojekt je pro nás, díky svému rozsahu a nyní opětovně potvrzené kvalitě realizace, momentálně jediným ekonomicky smysluplným projektem, který dokáže detailně popsat český rozhlasový trh, a to včetně menších regionálních rádií. Je samozřejmě nutné ho dále rozvíjet a hledat nové nástroje, jak získat validní data v situaci, kdy se konzumace médií mění doslova ze dne na den. To je do budoucna největší úkol jak pro rozhlasovou sekci SKMO tak pro realizátory.