Hodnocení pracovních inzerátů pomocí ChatGPT

Jak objektivně hodnotit inzeráty?

Jako porotce Recruitment Academy Awards jsem měl za úkol vyhodnotit 25 pracovních inzerátů přihlášených do soutěže. U pátého inzerátu jsem začal přemýšlet, jak tento úkol zautomatizovat a hlavně zkvalitnit. Cítil jsem, že hodnocení dělám příliš od boku a potřeboval bych pevnou strukturu kritérií a nezávislý názor, se kterým bych se mohl poradit. Takže jak si nastavit ChatGPT, aby s hodnocením inzerátů pomohl?

Obecné pokyny dají jen obecné výsledky

Pojďme se pro začátek podívat na úplně jednoduchý pokyn, který zní:

‍

‍

Za větou „Zde je inzerát” následuje překopírovaný inzerát. ChatGPT zatím neumí načítat data z webových stránek, a proto není možné zadat webovou adresu inzerátu, ale je třeba text inzerátu překopírovat.

Výsledek po tomto obecném pokynu byl úplně mimo. Použil jsem náhodně vybraný inzerát, který byl velmi slabý. Je to klasické Požadujeme/Nabízíme, ale většinou jen vágní formulace. Skutečně konkrétních nebo zajímavých informací o obsazované pozici najdeme v inzerátu minimum. Tento inzerát by se dal napasovat na jakoukoli pozici Supply Chain Manager.

Ale ChatGPT inzerát vychválil a dal mu hodnocení 4,5/5. Všímal si pouze formální stránky inzerátu, a protože našel většinu klíčových slov, které by v inzerátu čekal, dal mu dobrou známku.

‍

‍

Bylo jasné, že nejdřív si s AI musíme vyjasnit, co to znamená „dobrý inzerát”. O tom, jak psát v inzerátech jasně a konkrétně, si můžete přečíst v tomto článku.

‍

Kritéria pro kvalitní inzerát

Stanovil jsem si 12 kritérií pro hodnocení kvality inzerátu. Při jejich formulování jsem kladl největší důraz na přesnost a konkrétnost informací. To je totiž největší bolest pracovních inzerátů. Že jsou velmi obecné, vágní a po přečtení se nic kloudného nedozvíte. Jako v tomto vtipu:

‍

‍

‍

Ke každému kritériu jsem napsal i krátký popis, aby ChatGPT věděl, jak inzerát hodnotit. Zde jsou:

1. Čísla a fakta – dobrý inzerát je podpořený fakty a čísly.
2. Klišé a obecnosti – dobrý inzerát musí být maximálně konkrétní. Nebude obsahovat obecnosti a klišé jako „motivující systém benefitů”, „přátelský tým”, „úspěšná firma”, „nejnovější technologie”, ale musí jednotlivé parametry maximálně přesně popisovat.
3. Popis práce – dobrý inzerát je jedinečný. Nepopisuje to, co by kandidát našel v každém jiném inzerátu na stejnou pozici, ale popisuje specifické úkoly, výzvy, zajímavosti a výhody této konkrétní pozice.
4. Požadavky na kandidáta – v dobrém inzerátu jsou potřebné požadavky na uchazeče jasně vysvětlené, ideálně na příkladech.
5. Technologie – Pokud se jedná o technologickou pozici, v dobrém inzerátu musí být popsány konkrétní technologie, které bude kandidát používat.
6. Vzdělávání a rozvoj – v dobrém inzerátu jsou uvedené konkrétní informace o tom, jak se člověk může vzdělávat, například rozpočet na konference, názvy školení a kurzů, způsob zaškolení apod.
7. Flexibilita pracovní doby – dobrý inzerát obsahuje informace o flexibilitě, například kolik dní home office je k dispozici, jaká je flexibilita pracovní doby, zda je možné pracovat remote, dovolená alespoň 5 týdnů, sick days apod.
8. Benefity – dobrý inzerát obsahuje více benefitů než jen stravenky, Multisport karta, počítač a telefon.
9. Mzda – dobrý inzerát musí obsahovat konkrétní informace o mzdě, bonusech a odměnách. Případně konkrétní informace o finančních benefitech, jako jsou penzijní připojištění apod.
10. Tým – dobrý inzerát obsahuje informace o nadřízeném, kolezích, o spolupráci s jinými odděleními, způsobu řízení týmu a o tom, jak je nastavená komunikace.
11. Výběrové řízení – dobrý inzerát obsahuje konkrétní informace, jak bude probíhat výběrové řízení na tuto pozici.
12. Orientace na kandidáta – jazyk a tón inzerátu je přátelský a je zaměřený na kandidáta. Mluví s kandidátem, jako by to byl zákazník.

Samozřejmě je těžké stanovit univerzální kritéra, která budou pasovat na všechny inzeráty. Jinou optikou bych hodnotil inzerát na dělnické pozice a jinou komplexní manažerské nebo odborné role. Týká se to například pracovní doby. Zatímco u bílých límečků je třeba zmínit informace o flexibilitě pracovní doby, homeofficu, sickdays apod., u výrobních pozic je flexibilita zpravidla minimální a není to chyba inzerátu.

V každém případě, když ChatGPT dostal jasné zadání a vodítko, jak inzeráty posuzovat, kvalita hodnocení se dramaticky zlepšila.

‍

Iterace a ladění pokynu

Vytvoření pokynu se většinou nepodaří napoprvé a je třeba ho testovat a ladit. Dával jsem na hodnocení různé inzeráty a sledoval, kde jsou odpovědi slabší, abych pak mohl instrukce doplnit a zpřesnit.

Ukážeme si to na příkladu. V první verzi bylo kritérium popsané takto:

‍

„Čísla a fakta – dobrý inzerát je podpořený fakty a konkrétními čísly.”

‍

ChatGPT ale do hodnocení zahrnoval všechna čísla, která v inzerátu našel, včetně PSČ nebo IČO firmy. Proto bylo potřeba zformulovat přesnější instrukce:

‍

„Čísla a fakta – dobrý inzerát je podpořený fakty a konkrétními čísly. Tato čísla se mohou týkat projektu, růstu firmy, mzdy, benefitů, výsledků, budgetu, který bude kandidát spravovat, množství uživatelů, výkonu technologie a podobně. Vylučuj IČO, DIČ, PSČ a adresu.”

‍

Stejným způsobem jsem postupoval i u ostatních kritérií a postupně se podařilo dostat kvalitu na požadovanou úroveň. Určitě to není finální verze, instrukce je možné dál ladit, a pokud budete tento pokyn používat na svoje inzeráty, doporučuji ho vyladit podle kontextu vaší firmy.

‍

Stavba pokynu

Pokud má pokyn dobře fungovat, je třeba při jeho stavbě následovat pár základních principů.

1) Na začátku definujte roli, kterou má ChatGPT plnit a vysvětlit kontext.

„Jsi seniorní copywriter a odborník na recruitment.

‍

2) Přesně popište úkol, který má AI splnit.

„Tvým úkolem je hodnotit pracovní inzeráty podle toho, jak vyhovují kritériím, které jsou uvedené níže. Vyzveš mě, abych zadal text pracovního inzerátu, který následně vyhodnotíš.

Budeš hodnotit podle těchto 12 kritérií:”

‍

3) Na závěr definujte, jak má vypadat výstup.

„Výstupem je tabulka: v prvním sloupci kritérium. V druhém sloupci hodnocení, ve třetím sloupci je zdůvodnění a příklady. Hodnoť striktně podle uvedených kritérií.

Začínáme, požádej mě, abych vložil text inzerátu.”

‍

Zde je kompletní zápis pokynu:

"Jsi seniorní copywriter a odborník na recruitment.

Tvým úkolem je hodnotit pracovní inzeráty podle toho, jak vyhovují kritériím, které jsou uvedené níže. Vyzveš mě, abych zadal text pracovního inzerátu, který následně vyhodnotíš.

Budeš hodnotit 12 kritérií:

1. Čísla a fakta – dobrý inzerát je podpořený fakty a konkrétními čísly. Tato čísla se mohou týkat projektu, růstu firmy, mzdy, benefitů, výsledků, budgetu, který bude kandidát spravovat, množství uživatelů, výkon technologie a podobně. Vylučuj z toho IČ, DIČ, PSČ a adresu.
2. Klišé nebo obecnosti – dobrý inzerát musí být maximálně konkrétní. Nebude obsahovat obecnosti a klišé jako „motivující systém benefitů”, „přátelský tým”, „úspěšná firma”, „nejnovější technologie”, ale musí maximálně přesně jednotlivé parametry popisovat.
3. Popis práce – dobrý inzerát je jedinečný. Nepopisuje to, co by kandidát našel v každém jiném inzerátu na stejnou pozici, ale popisuje specifické úkoly, výzvy, zajímavosti a výhody této konkrétní pozice.
4. Požadavky na kandidáta – v dobrém inzerátu jsou potřebné požadavky na praxi, vzdělání a dovednosti uchazeče jasně vysvětlené, ideálně na příkladech.
5. Technologie – pokud se jedná o technologickou pozici, v dobrém inzerátu musí být popsané konkrétní technologie, které bude kandidát používat.
6. Vzdělávání a rozvoj – v dobrém inzerátu jsou uvedené konkrétní informace o tom, jak se člověk může vzdělávat, například rozpočet na konference, názvy školení a kurzů, způsob zaškolení apod. V dobrém inzerátu je také uvedené, co se na dané pozici může člověk naučit.
7. Flexibilita pracovní doby – dobrý inzerát obsahuje informace o flexibilitě, to znamená: kolik dní home office je k dispozici, jaká je flexibilita pracovní doby, zda je možné pracovat remote, dovolená alespoň 5 týdnů, sick days apod.
8. Benefity – dobrý inzerát obsahuje více benefitů než jen stravenky, Multisport karta, počítač a telefon.
9. Mzda – dobrý inzerát musí obsahovat konkrétní informace o mzdě, bonusech a odměnách. Případně konkrétní informace o finančních benefitech, jako jsou penzijní připojištění apod.
10. Tým – dobrý inzerát obsahuje informace o nadřízeném, kolezích, o spolupráci s jinými odděleními, způsobu řízení týmu a o tom, jak je nastavená komunikace.
11. Výběrové řízení – dobrý inzerát obsahuje konkrétní informace, jak bude probíhat výběrové řízení na tuto pozici.
12. Orientace na kandidáta – dobrý inzerát mluví ke kandidátovi. Nabízí, je příjemný, zmiňuje, jak může daná pozice kandidátovi pomoct a proč ho bude bavit. Jazyk a tón inzerátu je přátelský, a je zaměřený na kandidáta. Mluví s kandidátem, jako by to byl zákazník.

Pro každé kritérium použij hodnocení od 1 do 5. Nejhorší je 1, to dáš v případě, že dané kritérium vůbec není splněno. 3 dáš, pokud je kritérium splněné částečně, a 5 dáš v případě, že to je perfektní a kritérium je splněné lépe než ve většině pracovních inzerátů.

Výstupem je nejprve název pozice a pak tabulka: v prvním sloupci kritérium, ve druhém sloupci hodnocení, ve třetím sloupci je zdůvodnění a příklady. Hodnoť striktně podle uvedených kritérií.

Začínáme, požádej mě, abych vložil text inzerátu."

‍

Můžete si tento příkaz zkopírovat do ChatGPT a sami zkoušet si s ním hrát a dál si ho ladit podle potřeby. Výsledek vypadá například takto:

‍

Jaké jsou limity ChatGPT?

Výsledky, které začal na vyladěný a odzkoušený pokyn dávat, považuji za velmi uspokojivé. Samozřejmě sem tam se najdou drobné nepřesnosti, ale celkově při hodnocení všech 25 přihlášených inzerátů jsme byli často za jedno.

Zkoušel jsem hodnotit inzeráty jak pomocí ChatGPT 3.5, tak s novou a výkonnější verzí ChatGPT 4. Rozdíl v kvalitě hodnocení byl velký. Čtyřka umí pochopit větší hloubku informací. Například větu „přátelský a motivovaný tým” starší verze považuje za kvalitní a odškrtla si, že v inzerátu je informace o týmu, ale čtyřka pochopila, že se jedná o prázdné klišé a hodnotila informaci jako nedostatečnou.

Je znát rozdíl v kvalitě hodnocení, pokud vstupní text byl v angličtině. S tou si ChatGPT poradí lépe než s českým textem. Ve starší verzi byl rozdíl velký, ale novější čtyřka už rozdíl částečně smazala. Výhodou je, že anglické inzeráty hodnotí rychleji.

‍

Kdy a jak využívat ChatGPT

Myslím, že tato malá case-study dobře ukazuje, jak lze AI využít a kde je třeba dávat pozor:

1. Čím je pokyn delší a přesnější, tím lepšího výsledku dosáhneme.
2. Pokud chceme po ChatGPT něco posuzovat, musíme mu zadat přesná kritéria.
3. Pokyn je třeba ladit a upravovat.
4. Vyladěný ChatGPT může skvěle fungovat jako „druhý mozek”, který pomáhá a doplňuje práci člověka.
5. Není možné slepě věřit AI. Člověk je potřeba, aby provedl nastavení, trénink a kontrolu.

‍