predrta guma

Odraščal sem v času optimizma. Verjeli smo, da bo že po naravi stvari jutrišnji dan lepši, bogatejši in bolj varen. Tega je že dolgo nazaj.

Potem se nam je nekje na poti predrla guma – ali pa je bila že vseskozi predrta, a tega prej na makedamu nismo opazili. Namesto, da bi jo zakrpali in nadaljevali pot smo obstali, se začeli prepirati o krivcu in ugotavljati kdaj točno, se je guma predrla.

Od takrat je minilo več let. Še vedno smo tu in tu bomo tudi ostali. Vmes smo si na tem mestu zgradili naselji. Kaj naselji – utrdbi, vsako na svoji strani ceste.

Med seboj ne govorimo, le zmerjamo se skozi strelske line. Med svojimi, med zidovjem, se počutimo shizofreno, a varno.

Pot tam zunaj pelje dalje. Posamezniki bodo šli po njej. A žal bo potreben večji dogodek, ki bo podrl zidovje in ljudi spet spravil nanjo. V katero smer bodo šli potem – še ne vemo.

… drug timeline …

Optimizacija, transparentnost

Ko sem začel ta blog, sem verjel, da so stvari v osnovi v redu. Da potrebujemo le nekaj optimizacij, transparentnosti, manj korupcije in stvari bodo OK. Ta blog ni bil pomemben prispevek na tem področju. Bil je bolj moje osebno igranje v to smer. Obstajajo boljši individualci, kot: http://virostatiq.com/ in kasneje so prišli portali, ki celostno služijo nekemu namenu:

http://www.transparency.si/
https://parlameter.si/
celo vladni https://erar.si/ (bivši supervizor – ki je tu oral ledino) in
https://podatki.gov.si/

Data (sadly) won’t set you free

Kasneje sem uvidel, da podatki težko koga spremenijo. Vsak lahko v podatkih najde sliko, ki jo želi prikazati in ignorira kar mu ni po volji. Služijo predvsem za “confirmation”, ne “change”.

Tudi drugače – ljudje smo plemenska bitja. Več kot pravilnost nam pomeni pripadnost. Takšne živali pač smo.

Množic ne premakneš z vizualizacijo in števili, premakneš jih s preprostimi, pritlehnimi stvarmi. Takrat sem imel v načrtu par objav in sem začel pisati blog:
https://opazovalnicaldp.wordpress.com/

A nisem prišel dalj od prve objave. To je bilo pred približno 1 letom – in v tem letu je omenjeni prepad dobil absurdne razsežnosti. Naše lokalne specifike so zvodenele in izgubile pomen ob globjih globalnih vprašanjih. Prepir je v zadnjih mesecih postal surov in suh ter izgubil še zadnjo trohnico potenciala za humor in samorefleksijo.

Hempcrete

Trenutno se vračam k osnovam in se ukvarjam z ekološko gradnjo hiš, čemur bom najbrž namenil novo spletno stran.

Če kdaj najdem kakšne zanimive podatke, še kaj naredim na @dataoko, a mislim da zgoraj omenjeni portali izvrstno opravljajo svoje naloge. Le ljudi ni dovolj, ki bi jim dali pozornost, ki si jo zaslužijo.

… se vidimo na poti …

Advertisements

Krediti, preneseni na DUBT (aka Slabo banko)

Včeraj sem na twitterju zagledal:

Vse podatke najdete na tej povezavi.

Seveda nisem mogel kaj, da ne bi šel malo pobrskat. Podatke sem kopiral in prilagodil v Google Docs, potem ponovno kopiral v batchgeo. Nastala sta ta dva zemljevida:

DUTB s strani NLB – največjih 250 (od 284, zaradi omejitve programa batchgeo)

DUTB s strani NKBM

Screenshot from 2014-04-18 12:28:15

Ta dva zemljevida sta v redu, za preverit individualno ali po svoji okolici, vendar ne nudita vpogleda v to, kako so krediti razporejeni, o kakšnih razmerjih govorimo, kako, če, so grozdeni?

Zato sem naredil poljuben zemljevid. Ne vem zakaj, a spominja me na zemljevid, ki ponazarja širitev kakšne kužne bolezni.

Image

Rdeči so krediti ki jih je dala NLB, Zeleni pa NKBM. Radius kroga seveda predstavlja znesek. Razlika med LJ in MB je videti zanimiva. MB ima, kot je videti par takih, ki odzvanjajo čez 9 gora, v LJ pa zato toliko (in veliko) več konkretnih.

Še bolj podroben pogled v Ljubljano:

Screenshot from 2014-04-18 12:24:53

In Maribor:

Screenshot from 2014-04-18 12:25:30

Vse tri zemljevide, pa lahko uporabite v “živo” na naslednjih povezavah:

celotna Slovenija | pogled v Ljubljano | pogled v Maribor

 

Na bitbucket strani lahko dobite tudi izvorno kodo, tukaj pa podatke v GDocs, da lahko drugič sami naredite podoben zemljevid. Po novem obstaja poleg twiter tudi dataoko facebook stran, vabljeni.

 

Zapiski: Zemljevid občin, GIS, itd #1

Prvi shape file SLO občin sem našel tu:
http://www.gadm.org/country

Dobro pri tem je, da nudi 3 nivoje (država, regije, občine) in ima definirano projekcijo, oz. je KML že v pravi. Slabo je, da ne kaže zadnjih informacij tako da nekaj občin manjka (ter, kot sem videl kasneje, da so meje med občinami nekako bolj oglate kot bi lahko bile z boljšim simplification algoritmom)

Screenshot from 2013-12-18 10:02:28

Posodobljen shapefile (SHP) občin najdete tukaj:
http://www.e-prostor.gov.si/dostop_do_podatkov/mapa/brezplacni_podatki/obcine/

Prvi problem ali feature je, da je datoteka zelo podrobna. Zato zavzame cca 5MB. Ko jo pretvorite v KML/KMZ jo google maps noče odpreti ker je prevelika oz. ima preveč featurjev. Tudi če bi jo google sprejel je za naš namen nesmiselno podrobna, kar upočasni zadevo in poslabša uporabniško izkušnjo. (mimogrede: Google Fusion Tables omogočajo nalaganje večjih struktur).

Za simplifikacijo KLM-ja sem skušal uporabiti gdal (ogr2ogr) orodje, ki v zadnji verziji (katera še ni na ubuntu) nudi opcijo -simplify ki stori ravno to. Orodje mi je javljalo napako da ne najde paketa GEOS, ki sem ga (in to orodje skušal inštalirati s prevajanjem in preko ppa a brez uspeha).

Potem sem našel orodje za simplifikacijo SHAPE datotek, ki deluje super:
http://www.mapshaper.org/

Naslednja težava je nastopila, da je shape datoteka iz eprostor.gov.si uporabljala neko svojo projekcijo z koordinatami več 1000, ki nikakor ni bila kompatibilna z google maps. Prvi problem je bil kako pretvoriti med projekcijami, ko bi to znal bi moral še ugotoviti katero projekcijo sploh uporablja. V datoteki ali na strani nisem našel nobenega podatka o tem.

Po nekaj iskanja sem ugotovil da lahko projekcijo najdem s tem orodjem:
http://projfinder.com/

In sicer je bila: EPSG:3794

WGS84 (EPSG 4326)  za Google Earth & Mercator (EPSG 3857) za Google Maps.

QGIS – odprtokodno GIS orodje (tudi za Linux)

Orodje mi je pomagalo videti s čim sploh delam, če sem pravilno našel projekcijo (v en layer sem odprl občine iz “gadm” (KML), v drug shape datoteko iz “egov” ter po nastavitvi pravih projekcij videl ujemanje. Iz QGIS sem lahko sedaj tudi direktno shranil KML in to končno v pravi projekciji!

Sedaj moram ugotoviti kako poimenovati KML elemente (z normaliziranimi imeni občin, da jih bom lahko potem manipuliral s skriptami ob prikazu).

Ostala orodja

Online KML viewer:
http://ivanrublev.me/kml/

Mailing skupina za ljubitelje podatkov

Če te zanimajo brskanje po, analiza ali prikaz podatkov. Imaš predloge glede zanimivih virov podatkov, ali predloge in kontekst glede tega, kaj bi bilo zanimivo iz njih “videti”, si vabljen na:

podatkofili@librelist.com

Na skupino se prijaviš tako, da na zgornji email naslov pošlješ (kakršnokoli) sporočilo. To bo zavrženo in nazaj boš dobil potrditveni email. Pri tem pritisneš Reply in se s tem potrdiš.

Tvoja naslednja sporočila na ta naslov bodo posredovana vsem članom skupine.

Iz skupine se odjaviš s tem, da pošlješ email na podatkofili-unsubscribe@librelist.com. To in ostala navodila dobiš ob prijavi.

Vsebina

Skupina je zaenkrat namenjena tehničnemu in vsebinskemu delu dela s podatki. Če bo sporočil slučajno preveč, ju bomo ločili.

Več infromacij o tehničnem delovanju skupine

http://librelist.com/help.html

min_finance1

Če naletite na kakšne težave ali imate dodatna vprašanja mi lahko pišete na dataoko@fastmail.fm .

Slovenske občine #3 :: Povezave

To je tretja objava o slovenskih občinah. V prvi smo se spraševali o KOLIKO, v drugi KAM, v tej pa gledamo povezave med akterji.

Skripte, podatke in mrežni graf sem naredil že pred časom (26.8.2013). K objavi materjala, pa me je vzpodbudila razprava o spremembah zakona o dostopu do informacij javnega značaja (ZDIJZ), oziroma natančneje ta objava poslanca DL in video posnetek.

Postopek

Na strani supervizor se lahko vidi s katerimi podjetji so poslovale javne ustanove. To se mi seveda zdi edino pravilno, saj so, kot že ime pove javne.

  1. Iz supervizorja smo pridobili vse občine.
  2. Za vsako občino smo iz strani prenesli 50 podjetij s katerimi je določena občina največ poslovala, ter zneske poslovanja.
  3. Podatke smo spremenili v vezi in vozlišča (edge & node) tako da jih je program Gephi lahko naložil.
  4. Z nadaljno obdelavo in nastavitvami v Gephi-ju smo dobili prikaz iz katerega se je dalo kaj videti.

Kaj nas je zanimalo

S katerimi podjetji, kako in koliko so občine največ poslovale? Koliko je skupnih podjetij, koliko vezanih le na eno občino, ter kako so razporejena? Pri takem številu potencialno povezanih podatkov, delaš mrežni graf ravno zato da boš videl, kaj se bo spoh videlo.

Splošen pogled na mrežo

V prvem grafu smo skrili nazive, da lahko opazujemo samo strukturo mreže. Rdeče so občine, svetlo modra so podjetja. Velikost pike predstavlja velikost skupnega zneska (iz občine ali v podjetje).

Kot dve največji rdeči piki lepo Izstopata Ljubjana in Maribor. Od podjetij, pa bomo kasneje videli, da so največje pike blizu sredine Banke (ker so poslovale z zelo različnimi občinami). Nekaj mest, kot npr. Celje in Maribor prisegata na svoje lokalne banke. Naslednji večji akterji pa so gradbena podjetja, ki so večinoma razporejeni po svojih širših regijah.

obc3_network_nolabel

Vidimo lahko, da si občine delijo nekaj podjetij a ima vsaka občina svoj grozd satelitov. Če odstranimo povezave so še lepše vidni.

obc3_network_noedgenolabel

Večje občine imajo nekoliko večje satelite, manjše pa manjše. Skala ni linearna ampak logaritmična, ker bi bile v tem primeru velike občine čisto prevelike, majhne pa čisto premajhne za prikaz.

Opomba: Ker smo od vsake občine vzeli 50 podjetij s katerimi so največ poslovala, ima vsaka občina na grafu isto število podjetij.

Imena

Pa poglejmo še graf z imeni. V tem primeru kliknite sliko, da vam jo bo pokazalo veliko večjo, kjer se bo dalo prebrati večje napise.

obc3_network_names

Izpostavimo par pogledov

Mestne občine

obc3_mestne_obcine

Banke 1/2 (bolj udeležene)

obc3_banke1

Banke 2/2 (malo manj udeležene)

obc3_banke2

Primerjava Elektro Ljubljana ter Elektro Mariborobc3_elektro_lj_mb

Zneski v pravem razmerju

Če bi že prej uporabili pravo razmerje (ne logaritmično), se večino občin in podjetij na grafu ne bi videlo. Sedaj, za občutek o razmerjih med zneski, pa pride tudi graf z linearnim razmerjem. Ob tem ne pozabite, da so med občinami tudi ogromne razlike v prebivalstvu, kot smo prikazali v naši prvi objavi o občinah (KOLIKO).

obc3_linear

Izvorna Gephi datoteka

Ker lahko graf pride prav komu, ki ima kaj konkretnega za raziskovati, objavljam tudi Gephi datoteko, tako da si jo lahko vsak odpre in v njej poišče specifične stvari, ki jo/ga zanimajo.

Vir podatkov

http://supervizor.kpk-rs.si/

Izvorna Gephi Datoteka

http://dataoko.bitbucket.org/

Če vam je delo všeč, prosimo donirajte projektu Gephi.

Izjava

Podatke smo obdelali in predstavili v želji, da čimbolje prikažemo realno stanje, vendar ne prevzemamo nobene odgovornosti za njihovo točnost ali za točnost naših postopkov. Prav tako ne prevzemamo odgovornost za kakršnekoli posledice uporabe teh podatkov ali naših prikazov in povzetkov. Vsi izvorni podatki so javni in vsak jih lahko analizira sam, če želi na podlagi njih delovati. Če naletite na kakšne nepravilnosti ali napake nam jih prosim sporočite na dataoko@fastmail.fm.

Konstruktivna nezaupnica vladi (2013)

Iz več kot izvrstne strani www.delajozate.si (kako to da ne sprejemajo donacij?) sem skopiral glavni govor obstoječega premierja in govor kandidatke za premierski položaj na dan konstruktivne nezaupnice. Mogoče bom s tem naredil še kaj, zaenkrat samo dva oblaka besed.

Janez Janša

dataoko_nezaup_jansa

 

 

Alenka Bratušek

dataoko_nezaup_bratusek

 

Oba oblaka sta do neke mere zgovorna. Sam bi našel kritično opazko glede obeh, a prepuščam, da si v njih vsak sam najde svojo “resnico”.

banke in njihovi v 2012 “padli” dolžniki

V torek je mojo pozornost pritegnil članek Tadeja Kotnika v FinancahReševanje krize z zatiskanjem oči, ušes in ust – 2. del: Banka Slovenije. Ne le, da se za razliko od večine napisanega v Slo. medijih ni ukvarjal z neskončno tekmo med levim in desnim klubom (kjer smo državljani in podjetniki večinoma žoga, ki jo brcajo naokrog). Članek ni pisal niti o naših kultnih nenadomestljivih osebah, ki jih je v Sloveniji ogromno (a vseeno premalo, da bi bile nadomestljive).

Članek je pisal o ustanovi in ustanove so ustanovljene z določenim namenom. Članek je trdil, da ima ta ustanova določene probleme pri opravljanju svojega namena. Govoril je med drugim tudi s številkami in nekaj tabelami. Zato sem pisal Financam oz. avtorju, ali mi lahko pošlje podatke iz tabel v berljivem formatu.

V tabelah so bile slovenske banke, in njihovi dolžniki ki so “padli” lani – 2012. S “padli” je mišljeno, da so družbe postale insolventne, torej prišle v stečaj ali prisilno poravnavo. Kar pomeni, da so vse bančne terjatve do njih v neki meri slabe. Prikazal sem dolžnike, ki so dolžni nad 5000€.

Nastala je naslednja mreža (graph). Večji in temnejši fonti, pomenijo večji dolg. Oziroma več posojil v primeru bank. Širša puščica prav tako. Na obrobju vidite predvsem podjetja, ki so prejela manjša posojila posameznih bank. Proti centru tiste z večjimi posojili iz različnih bank. Banke so rdeče, podjetja pa modra (no, mogoče ne).

dataoko_finance1_1

Sedaj si, na isti mreži, oglejmo samo posojila in dolžnike NLB:

dataoko_finance1_2

Članek je veliko omenjal še Abanko:

dataoko_finance1_4

In NKBM:

dataoko_finance1_3

Na podlagi prejšnjih grafov je vidmo, da so nekatera podjetja prejela posojila večih bank, pa si poglejmo par večjih:

dataoko_finance1_5

dataoko_finance1_6

Pred dnevi smo v novicah brali o semenarni:

dataoko_finance1_7

Če koga zanima graf za kakšno specifično podjetje ali banko naj mi piše. Če imate kakšne zanimive podatke ali idejo prav tako: dataoko@fastmail.fm.

*najdete me tudi na twiterju*

Izjava

Podatke smo obdelali in predstavili v želji, da čimbolje prikažemo realno stanje, vendar ne prevzemamo nobene odgovornosti za njihovo točnost ali za točnost naših postopkov. Prav toko ne prevzemamo odgovornost za kakršnekoli posledice uporabe teh podatkov ali naših prikazov in povzetkov. Če naletite na kakšne nepravilnosti ali napake nam jih prosim sporočite na dataoko@fastmail.fm.