Komentáře
Istwen/Istiä | 22. března 2018 v 19:00 | Systém hodnocení se během let organizace soutěže optimalizuje.
Zatím si musí porotci poradit jak můžou... A věřím, že příště zase organizátoři vylepší jeho nedostatky.
[2]: Hej, Istwen, to bylo docela urážlivé! Možná to nebylo zrovna myšleno jako urážka, ale zní to tak! 
Ahojky. Vidím, že s pravidly experimentujete a hledáte co nejlepší systém. Když to srovnávám s loňskými pravidly, tak se mně řada změn líbí. Třeba větší povolená délka díla ... A také to, že pokud se zúčastním, dostanu hodnocení od více porotců.
Něco mě ale napadlo... Loni každý věděl, kolik bodů získal za řemeslo, kolik za originalitu atd. Jsem zvědavý; proč jste to letos zrušili? Pokud se zúčastním, bude mně tahle zpětná vazba trochu chybět. Znám někoho, kdo se účastnil loni a letos řekl, že ze slovních pochval a výtek se nedá poznat, jak závažně kterou z nich porotce vnímá, pokud to nevyjádří i v bodech.
Snadno by to šlo zachovat: stačilo by dát do pravidel (napřesrok, pokud to nejde letos), že v každé kategorii každý porotce musí místo jedné pyramidy vyplnit tři - za věrnost, originalitu a řemeslo... Pak by každý pisálek věděl, kolik ze svých bodů dostal za věrnost, kolik porotců jeho nápaditost zařadilo mezi prvních šest atd.
Chtěl bych to otevřít jako téma k diskusi - zajímá mě názor pořadatelek i ostatních.
A mám i další nápady; ještě napíšu.
Tohle není návrh, jen zamyšlení: Budou porotci spolu k komentářem posílat i počet udělených bodů, nebo body sdělí až při vyhlášení?
Pokud to bude jako loni, pak si účastníci vydedukují své umístění téměř přesně. Pyramidový systém má řadu výhod, ale má i tu vlastnost, že porotce v něm má předepsáno, kolik bodů má udělit nejlepšímu a kolik nejslabšímu dílu. Už to nebude jako loni, kdy třeba někdo odeslal dílo a pak dostával od porotců čísla kolem 6-7 bodů, ale netušil, jak se umístí, protože nevěděl, jestli většina porotců bude přísná jako Laisi, která za průměr považuje pět bodů z deseti, nebo štědrá, která málokdy dává pod 8 bodů.
Takže pokud psavci dostanou bodové hodnocení předem, myslím, že při vyhlášení budou méně napjatí, než loni, protože budou předem zhruba vědět, na které příčce se umístili. Jestli je to dobře nebo špatně, to nevím.
Mimochodem, zdá se mně dobré, že díky pyramidovému systému budou porotci sjednoceni, aby byli všichni stejně štědří. Nebo přibližně stejně, pokud někteří budou v pyramidě přeskakovat.
Jo a chci velmi ocenit, že jste upřesnili, co se hodnotí na písních (text vs. hudba).
S velkým zájmem jsem si pročetl společnou část hodnocení, které Laisi a Daniela poslala všem soutěžícím autorům prózy. Pokud nějakou společnou část posílali porotci i ve zbylých třech kategoriích, měl bych velký zájem si to přečíst. Můžete mně to poslat na Graywolf9 (V) email.cz ? Děkujuuu.
Psát první prozaické dílo do soutěže by pro mě bylo opravdu těžké, kdybych předtím nečetl ty "společné rady prozaikům". Nevěděl bych, co je v Próze důležité a cože je vlastně to "řemeslo". Bál bych se, že myšlenku zkazím hloupými chybami v oblastech, o kterých ani netuším, že si na ně psavec má dávat pozor, a že tak úplně zkazím dobrý literární nápad.
Tak si říkám, proč tohoto tápání neušetřit ty, kteří přispívají letos poprvé? Oni ty tipy dostanou až po odeslání díla, což už je právě pozdě... Takže co kdyby odteď v každém ročníku Semenáčku byl v propozicích odkaz na stránku "Rady Mittalmaru pro začínající tvůrce".... Ta by měla čtyři sekce (Poezie, Próza atd.) a pro začátek by v každé sekci bylo jen pár odstavců. Ta společná část, kterou prozaikům psala Daniela a Laisi, by byla velmi účinnou pomocí.
A ta stránka by podstatně bobtnala, jak průběžně zkušení tvůrci budou ochotni připsat pár postřehů, a také by se tam přidal odkaz, kdykoli někdo narazí na internetu na dobrý článek s tipy. Pokud by nabobtnala tolik, že by ji bylo třeba rozdělit na více stránek, tak tím lépe!
I kdyby tam ale bylo málo, jen to nejpodstatnější, stejně půjdou nováčci vyzbrojeni alespoň nějakým arsenálem. A možná to někoho i namotivuje, aby se odvážil zúčastnit se.
A třeba takový soubor tipů poslouží navíc i pár lidičkám, kteří nepíší do soutěže, ale pro své kamarády nebo třeba slohovku ve škole. Co myslíte?
A teď jednu připomínku, která není důležitá, protože problém nastane jen při nečekaně velkém počtu soutěžících.
Vaše pyramida teď pojme 21 výtvorů. Pokud se jich v nějaké kategorii sejde víc, pak se nic neděje, pokud každé dílo nějaké body dostane. Ale představte si, že by se sešla dvě díla nebo dokonce ještě víc, která jsou tak slabá, že se žádnému porotci do pyramidy nevejdou, protože každý porotce vidí alespoň 21 výtvorů lepších... Pak by mohlo být autorům líto, že všichni obsadili poslední příčku s nula body a nemají vůbec žádné srovnání, které z těchto posledních děl se porotcům líbilo relativně víc nebo míň.
Možná řešení jsou nejméně dvě:
To první je, že pokud porotce chce, smí přidávat další patra pyramidy: tak jako v šestém patře za 16. až 21. místo v pyramidě udělí 10 bodů, tak podobně v sedmém může za 22. až 28. místo udělit 60 děleno sedmi, což je 8 bodů. Zde se bude zaokrouhlovat dolů.
Druhá možnost je jednodušší: pracem, které se nevešly do pyramidy, smí porotce udělit nula až tři body. Není při tom vázán ničím, zatímco v pyramidě je vázán například tím, aby 60 bodů udělil nejvýše jednomu.
Myslím si, že obě řešení výrazně snižují nebezpečí, že se o poslední příčku bude dělit několik lidiček. Jeden musí být poslední, ale ať ti ostatní mají radost, že tomuto osudu unikli... A nějaké srovnání mezi sebou navzájem.
Graywolf
Jestli jsem už otravný s tím objemem úvah a výmyslů, která zde píšu, tak mně určitě řekněte.
Teď napíšu jednu připomínku delší a nijak zvlášť důležitou, ale za zmínku mně určitě stojí.
Vaše pyramida v každém patře rozděluje stejný počet bodů (šedesát). To má dva následky, které se mně zdají neblahé - připadá vám, že to nevadí?
Za prvé, dílo se skoro vždy umístí podle toho, kolik bodů mu dal ten porotce, který mu dal nejvíc. Body od ostatních mají jen nepatrný vliv.
A za druhé mně přijde, že proto tento systém zvýhodňuje díla kontroverzní, která jednoho porotce velmi nadchnou, treví se mu do vkusu... ale většina porotců je zařadí jako dílo nízké kvality.
Uvedu to na příkladu: Jitka a Petr pošlou své výtvory a každý z nich jednoho porotce nadchne. Jitka dostane 20 bodů, Petr pak 30, což znamená 2. až 3. místo. Ovšem čtyři další porotci považují Petrův styl za neohrabaný a dají mu 10 bodů za 16. až 21. místo, zatímco Jitce dají dvanáct. Zbylí porotci dají třeba oběma dílům 15 bodů.
Petr tedy vyhrál o dva body, protože jeden porotce jej hodnotil o tři místa lépe - a Jitka těchto 10 bodů nedohnala ani tím, že ji čtyři poroci hodnotili o nějakých šest míst výše, což jí vyneslo pouhých osm bodů.
Mně se zdá, že by si vítězství jasně zasloužila Jitka, co myslíte?
Toto není důsledek pyramidového systému, je to důsledek rozhodnutí, že každé patro pyramidy bude rozdělovat stejný počet bodů. Proto nižší patra mají zanedbatelný význam.
Jak to napravit? Vytvořením pyramidy, která bude mít rovnoměrnější rozestupy. Nyní rozestup mezi pátým a šestým patrem jsou jen 2 body, když dílo dostane 12 místo 10 bodů. Ty dva body jsou směšně málo oproti rozestupům mezi třemi nejvyššími patry pyramidy.
Spravedlivější pyramida se dá sestrojit buď od oka, nebo systematicky. Od oka by šlo provést třeba toto:
1. patro: 1x 12 bodů
2. patro: 2x 10 bodů
3. patro: 3x 8 bodů
4. patro: 4x 7 bodů
5. patro: 5x 6 bodů
6. patro: 6x 5 bodů
Ostatním příspěvkům porotce přiřadí 0 až 3 body dle vlastní úvahy, ale nesmí být k více dílům štědrý než skoupý... Štědrý znamená alespoň 2 body.
A pokud by se někomu nelíbila pyramida sestavená od oka, lze použít i pyramidu systematickou, která se bude podobat té z propozic, ale v patře n každý výtvor dostane nikoli 60 / n, nýbrž 120 / (n+2) bodů. Takže:
1. patro: 1x 40 bodů = 120 / 3
2. patro: 2x 30 bodů = 120 / 4
3. patro: 3x 24 bodů = 120 / 5
4. patro: 4x 20 bodů = 120 / 6
5. patro: 5x 17 bodů = 120 / 7 (zaokrouhlujeme dolů)
6. patro: 6x 15 bodů = 120 / 8
V případě potřeby i
7. patro: 7x 13 bodů = 120 / 9
atd.
Mně toto připadá jako zlatý střed, ale pokud by si někdo myslel, že jsem nerovnoměrnost ve skocích neodstranil dostatečně, lze klidně použít i pyramidu, která každému dílu v patře n nadělí třeba 8*9*5 / (n + 4 ).
Nebo lze rozestupy zvyšovat postupně a pravidelně:
7. patro: 7x 5 bodů
6. patro: 6x 7 bodů - rozestup o 2 = 7 - 5
5. patro: 5x 10 bodů - rozestup o 3 = 10 - 7
4. patro: 4x 14 bodů - rozestup o 4
3. patro: 3x 19 bodů - rozestup o 5
2. patro: 2x 25 bodů - rozestup o 6
1. patro: 1x 32 bodů - rozestup o 7
Ten příklad s Jitkou a Petrem jsem zvolil schválně křiklavý, ale věřím, že i na skutečných výsledcích může pyramida z propozic mít podobný vliv. Zde jsem předložil několik pyramid, které ten problém řeší. Každá má své výhody a nevýhody.
A chtěl bych poznamenat, že moje návrhy jsou navzájem nezávislé: po diskusi a doladění je lze přijmout všechny nebo třeba jen jeden či žádný. Upravit počet pyramid podle aspektů, změnit rozestupy mezi patry pyramidy a dát porotcům právo udělit pár bodíků i těm, kdo se do pyramidy nevešli... to jsou tři nezávislé úpravy, žádná z nich neovlivní realizaci těch zbylých.
Irith, díky za email a držím palečky, ať Vás u maturity nestihne nějaká ta dvojka 
A když přímo píšeš, abych pokračoval a přednesl všechny své nápady, velmi rád... ale varuju vás, jsem sotva v polovině
Teď nadhodím otázku: Jak velký je rozdíl mezi součtem tří aspektů a celkovou kvalitou díla?
Jinými slovy: pokud by porotci v roce 2017 udělovali nula až třicet bodů podle svého uvážení, kolik si dílo zaslouží, tak jak často by se výsledné pořadí prací nezanedbatelně lišilo od toho, co se v roce 2017 skutečně stalo... když museli dát nula až deset bodů za každý aspekt?
Dejme tomu, že někdo stvoří mimořádně nápadité a velmi věrné dílo, třeba báseň nebo píseň, ovšem řemeslně je naprosto nešikovný v každém ohledu... metafory, rýmy, pravopis, gramatika, sloh, způsob vyjadřování, melodie, instrumentace, falešná nahrávka s mnoha překlepy... Výsledkem je tedy bídná slátanina, která zkazila nápad s velkým potenciálem.
Pokud si nějaký porotce o tom dílu myslí právě toto, stejně by v roce 2017 musel dát nejméně 19 bodů, řekněme deset za originalitu a devět za věrnost, pokud pět pokládá za průměr. Zatímco kdyby porotci hodnotili celkovou kvalitu díla nulou až třiceti body, pak by dílo zdaleka nedosáhlo na patnáct bodů.
Podle mě aspekty tímto trochu deformují spravedlivé stanovení výsledného vyhlášeného pořadí. Ale deformují jej více než zanedbatelně? A častěji než výjimečně? Tak často, aby stálo za to tuhle věc ošetřit v pravidlech?
To nevím. Asi ne, ale nemám na věc názor. Pokud odpověď zní ne, pak je všechno v pořádku a mně osobně by se líbilo jednu pyramidu nahradit třemi, jak jsem psal v bodě [8]:.
Já nevím, zda aspekty byly zrušeny proto, že to vypadalo, že v pyramidovém systému se ponechat nedají, anebo z nějakého konkrétního, záměrného důvodu... například že, jak jsem právě napsal, deformují výsledné pořadí. Pokud byly zrušeny záměrně, pak se to dá udělat tak, aby se vlk nažral a koza zůstala celá. Aby byli uspokojeni ti, kteří ke každému aspektu svého díla chtějí zpětnou vazbu nejen ve slovech ale i v bodech... a přitom aby pořadí nebylo deformováno otrockým sečtením tří aspektů.
Nejméně jedno řešení mne napadá: každý porotce by v každé kategorii vyplnil čtyři pyramidy. Tři aspektové a čtvrtou za celkovou kvalitu.
Výsledné vítězné pořadí by se určilo z celkové kvality, teprve při rovnosti bodů by rozhodl součet aspektů. Ale každý by viděl, jak který porotce vnímal který aspekt. Každý by viděl, kolik bodů dohromady získal za který aspekt, ačkoli by to nesouviselo s jeho umístěním... protože porotce vůbec nebude povinen udělit za celkový dojem jakýsi průměr mezi tím, co udělil v aspektových pyramidách.
Ale jak říkám, tento nápad má smysl jen kdyby si pořadatelé mysleli, že aspekty citelně deformují výsledné pořadí.
Kdybych měl od nuly navrhnout nový způsob hodnocení, který zachovává většinu výhod pyramidového a zároveň se snaží odstranit jeho nevýhody, pak by vypadal takto:
Každý porotce si v každé kategorii libovolně zvolí, do kolika skupin neboli pater práce rozdělí. Práce umístěné do jedné skupiny porotce pokládá za stejně dobré. Skupiny seřadí od nejlepší po nejhorší. Má-li to připomínat pyramidu nebo spíše velmi široký obdélník, pak nejlepší práce zařadí do horního patra a nejhorší do spodního.
Nemusí se snažit o žádnou pravidelnost. Může třeba do prvního patra dát dvě práce, do druhého pět, do třetího jen jednu, do čtvrtého také jednu, do pátého tři atd.
Pořadatelé to pak musí převést na body. Zvolí se základní příděl, což budou třeba 2 body. V každé pyramidě každého porotce musí platit, že nejslabší dílo dostane jeden příděl, druhé nejslabší dvakrát tolik, páté nejslabší pět přídělů a tak dále až k dílům nejlepším.
Zároveň ale výtvory ve stejném patře musí dostat stejně. Takže když se v jednom patře sejdou dvě díla, která si zaslouží 10 a 12 bodů, obě dostanou od toho porotce jedenáct, protože nenaznačil, které z nich je lepší. Totéž když patro obsahuje libovolný počet výtvorů... Pokud na jednom patře budou díla zasluhující 6, 8, 10 a 12 bodů, pak všechny dostanou průměr z těchto čísel, takže devět . Porotce je umístil na stejné patro, takže musí dostat stejně. A pokud je základní příděl sudý, průměr vždy vyjde jako celé číslo.
Tento systém bych pojmenoval Normalizovaná volná patra a hned vysvětlím, v čem vidím jeho klady.
[14]: Systém zvaný Normalizovaná volná patra dostal své jméno takto... Volná proto, že si porotce může u každého patra vybrat, kolik do něj zařadí výtvorů. Pečlivý porotce možná dá každé dílo do samostatného patra, kromě děl vyloženě podobné kvality. Jiný porotce jen díla roztřídí do tří či čtyř kategorií, i když to by byla od něj trošku odfláknutá práce.
Současně tento systém normalizuje, tj. sjednocuje dvě věci. Jednak štědrost porotců, každý by musel dohromady nadělit přesně stejně bodů. A za druhé, sejde-li se třeba dvacet prací, pak pěti nejhorším dá každý porotce kolem šesti bodů a pěti nejlepším kolem 36, plus mínus pět. Body od každého porotce budou celkem přesně korespondovat s tím, kolik z ostatních výtvorů pokládal za lepší nebo naopak horší.
Pravděpodobnost remízy je mnohem menší než u pyramidového systému, jak píšu v /[11]:/, a to zejména na posledním místě... Pokud jsou dva výtvory mnohem horší, než všechny ostatní, stejně je pravděpodobné, že některý porotce jim nedá společné patro, ale vybere z nich jeden lepší a pod něj jeden horší. Stačí jediný takto poučený porotce a možnost remízy na posledním místě je nepatrná. Rád vysvětlím podrobněji.
Ale ve zbylých věcech dává systém porotcům svobodu... Volná patra navrhuji proto, že není pravděpodobné, že zrovna jedno bude absolutně úchvatné, přesně dvě další budou vynikající a přesně tři další budou velmi zdařilá, aby to přesně vystihovalo pyramidu z propozic pro letošní rok.
Jde mi o to, že kdybych byl letos porotcem a musel vyplnit tu pyramidu s šedesátkovou špičkou, co bych asi dělal, kdyby se mně čtyři díla líbila mnohem více, než zbylá? Vybral bych z nich jedno nejlepší, ale bylo by mně líto, že mu musím dát o celých 30 bodů víc, když je jen o trochu lepší. A jedno z těch čtyř děl bych musel dát do třetího patra vedle děl s citelně nižší kvalitou. To dílo dostane o deset bodů méně, což může způsobit velký rozdíl, jak jsem ilustroval v komentáři /[12]:/.
Sice bych mohl přeskočit dvě buňky, nejkrásnějšímu dílu dát 30 bodů a dalším třem 20. Ovšem tím bych o dost snížil svůj vliv na výsledné pořadí, protože zbylým výtvorům bych dal skoro stejně... každému deset až patnáct bodů, pokud se všechny do pyramidy vejdou počtem i kvalitou.
Myslíte, že s touto vlastností pyramidy porotci nebudou mít tento problém jako já? U volných pater může porotce počet pater a počet prací v každém patře zvolit přesně podle toho, která díla mu připadají srovnatelná. A samozřejmě v každé kategorii to může udělat úplně jinak.
Ještě bych chtěl podotknout, že na Normalizovaná volná patra se dá snadno použít návrh [8]: i [13]:... Jako lze udělat tři aspektové pyramidy a případně i jednu s celkovou kvalitou, stejně tak mohou být porotci požádáni, aby v každé kategorii místo jednoho udělali tři nebo čtyři patrové obdélníky, jak jsem je popsal ve [14]:.
Taky mě napadá, že systém můžeme sestavovat až poté, co si položíme tuto otázku... Řekněme, že Přemek Průměrný odevzdal práci, kterou všichni porotci hodnotili přesně uprostřed, polovina prací se jim líbila víc a půlka méně. A Karina Kontroverzní odevzdala práci, která je v očích poloviny porotců nejlepší a v očích poloviny nejhorší ze všech. Já vím, je to extrémní příklad, ale ilustruje problematiku názorně. Terminátora a Hru o Trůny může také mnoho lidí hodně oslavovat a jiní hodně zatracovat např. pro nevkusnou míru násilí.
Otázka zní, zda by se měl Přemek ve výsledku umístit blízko Kariny, vysoko nad ní nebo hluboko pod ní. Pravidla 2017 by oběma přiřkla stejný počet bodů. Pyramida v propozicích 2018 vynese kontroverzní Kariny výtvor na první, výjimečně druhou příčku. Co z toho je spravedlivější?
To ať si rozhodnou pořadatelé, ale já nevidím důvod takto zvýhodňovat kontroverzní díla. Proto jsem v komentáři /[12]:/ zdlouhavě hledal takové rozvržení odstupů v pyramidě, které podle mého názoru léčí tento konkrétní neduh pyramidy z propozic.
Ale proč jej dlouze hledat, když v Normalizovaných volných patrech nám vyšel přirozeně sám od sebe? Toto pokládám za jednu z výhod NVP oproti propozicím 2018. A oproti 2017 se porotci nebudou nad každým dílem trápit, zda by nezasloužilo o bodík víc či míň, stačí díla zhruba porovnat. A navíc bude sjednocena štědrost porotců, aby se už nikdo neptal jakože „To jsem měl tak mizerné řemeslo, že mně Laisi strhla celé čtyři body z deseti?“
Ještě bych chtěl dodat, že neznám důvody, proč jste systém z roku 2017 změnili. Můžu se jen dohadovat, že jste chtěli usnadnit práci porotcům nebo třeba sjednotit jejich štědrost. Na základě toho jsem navrhl ta Normalizovaná volná patra.
Kdybych se, až na to budete mít čas, dozvěděl skutečné důvody, proč vám loňský způsob hodnocení nevyhovoval, tak se zkusím zamyslet, zda by se dal udělat systém, který řeší nevýhody loňského i toho z letošních propozic.
Tento rok si možnosť zúčastniť sa nenechám ujsť.