• Klikdinges
  • Posts
  • Klikdinges #99: Hoe ik mijn werk automatiseer

Klikdinges #99: Hoe ik mijn werk automatiseer

March 30, 2021

Hey, in deze Klikdinges kun je iets meer lezen over hoe ik suffe, saaie klusjes uitbesteed aan scripts, bots en sites.

En verder:

  • Een van mijn verhalen heeft geleid tot een gedenksteen

  • Woon jij in een progressieve, rechtspopulistische of confessionele buurt?

  • Automatisch gegeneerde artikelen, coalitie-Klikdingessen en desinformatie-onthullingen rondom de Tweede Kamerverkiezingen

Mijn Afgelopen Twee Weken

Na vier intens drukke weken voor de uitzendingen over de digitale verkiezingen had ik even een week vrij. Oh man, dat had ik ook echt even nodig. En misschien herken je dit gevoel wel: dat je je bijna schuldig voelt als je even niets doet.

Een van de manieren waarop ik dat schuldgevoel probeer te negeren, is een groot deel van mijn werk te automatiseren. Hoe kan ik allerlei online diensten en scripts voor mij laten werken? En welke apps gebruik ik nog meer om mijn ideeën tijdens vakanties even te parkeren. In deze Klikdinges geef ik je een kleine inkijk in hoe ik dat doe.

De eenvoudigste klusjes laat ik door Google Alerts opknappen. Uiteraard heb ik een ego-alert, maar ook wat er over Pointer, verschillende onderzoekstermen en slimme zoekopdrachten zoals site:rijksoverheid.nl filetype:pdf vertrouwelijk.

Ik gebruik ook sites zoals 1848.nl (voor Kamerstukken), LexisNexis (media-archief) en Visualping.io (om veranderingen op sites in de gaten te houden). Maar mijn laatste aankoop is een echte upgrade.

Vlak voor mijn week vrij kocht ik een Raspberry Pi: een minicomputer die ongeveer zo groot is als een pakje speelkaarten. Niet als vervanging van mijn Macbook, want een Pi is absoluut niet zo krachtig. Maar omdat het zo'n enorm klein en goedkoop apparaatje is, kun je er wel veel klusjes mee automatiseren.

Je moet echter wel een beetje Python leren. En het meest ingewikkelde van programmeren (en vaak het slechtst gedocumenteerd) is het opzetten van je projecten. Welke programma's heb je nodig? Wat zijn environments? Waarom is een goede mappenstructuur cruciaal? Online wordt dat op weinig plekken echt goed uitgelegd: vaak nemen mensen gelijk een deep dive in de code. Dat werpt echt een hoge barrière op om te gaan programmeren. Wellicht dat ik daar in een latere Klikdinges nog eens op terugkom.

De Pi heeft standaard een programma genaamd Thonny Python IDE geïnstalleerd staan. Daarmee kun je direct aan de slag om Python te leren. Daarnaast heb ik programma's zoals VNC Viewer (om mijn Pi op afstand te besturen) en Samba (voor een gedeelde netwerkmap) draaien.

Het doel van dit alles? Ik wil mijn Pi als automatische webscraper inzetten. Dus ik probeer al mijn belangrijke scripts in R en andere software momenteel om te zetten naar Python, en via Crontab kan ik die scrapers automatisch op mijn Pi draaien. Hieronder zie je overigens een enorm duidelijke video hoe zo'n Python-scraper wordt gemaakt.

Mijn workflow is nu dan ook:

  • Scraper op Macbook maken en op gedeelde netwerkmap opslaan

  • Testen op mijn Pi: werkt alles?

  • Via Crontab inplannen

  • Bestanden komen op mijn netwerkmap

  • Data! 🥳

Zoals gezegd ga ik er later nog dieper op in hoe ik alles organiseer. Want ook daar heb ik tijdens mijn vrije dagen een flinke verbetering in aangebracht.

Na mijn uitzendingen had ik nog twee publicaties in de planning staan. De eerste heeft een speciale plek in mijn hart. Mei 2020 publiceerde ik met Stefan Vermeulen van Follow the Money een artikel over roofhandel aan De Ruyterkade 127 in Amsterdam: onderdeel van ons onderzoek naar de Vastgoedboeken.

TL;DR het pand werd in WOII onteigend, en de toenmalige eigenaar Mozes Poppelhouwer vermoord. Naar aanleiding van dat verhaal laat de huidige eigenaar Sjoerd Nauta een gedenksteen plaatsen. Dat maakt me echt ongelooflijk trots. Het is zo'n resultaat uit een onderzoek dat je nooit vooraf verwacht. Over het plaatsen van die gedenksteen maakte ik samen met Wouter Hoek een kort verhaal met video.

Het raakt hem diep van binnen: de ontdekking dat in zijn pand op De Ruyterkade 127 in Amsterdam een Jood genaamd Mozes Poppelhouwer is weggevoerd en vermoord tijdens de Tweede Wereldoorlog.

En dan waren er ook nog de Tweede Kamerverkiezingen. Twee jaar geleden belden we met De Volkskrant en Open State Foundation nog drie dagen lang alle gemeenten na voor de verkiezingsuitslag. Slechts 24 procent publiceerde de uitslag namelijk openbaar, in een open format (zoals XLS, XML of CSV) en in de juiste indeling (zoals die uit OSV-software komt rollen).

Dus dit jaar hebben we ons weer schrap gezet. Want ondanks een wetsvoorstel verwachtten we toch dat gemeenten erg moeilijk zouden doen. Maar het tegendeel blijkt waar: binnen een week heeft bijna elke gemeente de uitslag online staan.

Met bovengenoemde partijen en Pointer-collega's Thomas de Beus, Inge Oosterhoff en Liza Titawano hebben we de gegevens verzameld, en developers Els Engels en Marije Rooze hebben daar een waanzinnig gave kaart van gemaakt.

Het Islamitisch Cultureel Centrum in Woerden heeft tijdens de Tweede Kamerverkiezingen de meest diverse groep stemmers aangetrokken.

Toffe Klikdingessen

De datajourno's van RTL Nieuws hebben hun nieuwsrobot ADAM weer aangeslingerd op verkiezingsavond. Vind per gemeente een geschreven artikel, waarin wordt uitgelegd wie hebben gewonnen/verloren, en in hoeverre het stemgedrag afwijkt van het landelijk gemiddelde.

Even snel de verkiezingsuitslagen bekijken? Zelf coalities maken? Je kunt tientallen nieuwssites afstruinen, maar op deze site staat alles netjes bij elkaar. Weer topwerk van Nederlands Dagblad en Sjoerd Mouissie.

Het NYT Visual Investigations-team blijft gave video's maken op YouTube. In onderstaande video wordt snel en duidelijk uitgelegd hoe een mysterieuze olietanker het embargo van Noord-Korea omzeilt.

Dit zijn vaak de meest aangeklikte en nuttigste artikelen in Klikdinges (volgens jullie he?). Datawrapper heeft weer een uitstekende serie artikelen gepubliceerd waarin ze tips geven om de juiste kleuren in je visualisaties te gebruiken.

Een kleine tool die je waarschijnlijk slechts beperkt zult inzetten, maar als je hem eenmaal nodig hebt 🙌🏻 hiermee kun je namelijk de eigenaar van een publiek Google Docs-account snel achterhalen. Dat kan het missende puzzelstukje zijn in je onderzoek.

De mensen van Kieskijker hebben de afgelopen maanden echt supergoed werk geleverd. De hoeveelheid manipulatie en desinformatie die ze zijn tegengekomen rondom de Tweede Kamerverkiezingen is fors. In dit artikel vind je een overzicht van hun publicaties.

Een interessant concept: Git scraping, waarbij je meerdere keren per dag data verzamelt en bijhoudt of er wijzigingen zijn. In deze blogpost een uitleg en tips hoe je dit kunt inzetten.

Weer een originele manier om de bias richting witte mensen te meten. Hoe goed (of beter gezegd, hoe slecht) houden fabrikanten van schoonheidsproducten rekening met verschillende huidtinten?

Dat vastzittende schip in het Suezkanaal heeft al een week lang voor domme en luie hot takes gezorgd. Nu heeft iemand in tien minuten tijd in ieder geval een vermakelijk ding in elkaar gezet. Plaats de Ever Given op de kaart, waar je maar wil.

Vind Ik Leuk

De volgende Klikdinges is alweer de 100e editie. Tot over 2 weken. En blijf gezond!

Hopelijk zie je nu ook hoe handig het kan zijn om je onderzoek te automatiseren. Word ook een luie journalist! Of nou ja, koop eerst het Handboek Internetresearch & Datajournalistiek, en maak het jezelf daarna wat makkelijker.