David Graus

OpenGov Thesis Projects 2026

2026-10-19T12:00:00+02:00

It is that time of the year again, where I’m recruiting up to 6 MSc students who are looking to graduate in AI, Data Science, Computer Science, and related studies. As every year, we’ve written down a few project proposals for students at the intersection of (open) government (data), information retrieval and natural language processing. See the projects in the flyer above or download the PDF here, and get in touch if you’re interested in one of these!

Two papers accepted at JURIX2026

2026-10-16T12:00:00+02:00

After my joyful experience of attending ICAIL 2026 last summer, and my increased interest in the academic AI & Law community, I am very happy to have two student-led papers accepted at the 39th International Conference on Legal Knowledge and Information Systems (JURIX 2026), aka “the other” AI & Law conference!

Alyson Ranucci (MSc Computer Science) and Daan Boven (BSc Computer Science) both submitted their theses (grades: 9 and 9) as full papers, pretty much as-is. And both got accepted!

Towards More Granular Reasoning: Mapping the DSA Transparency Database Taxonomy to Platform Terms and Conditions Using Large Language Models

Alyson Ranucci, Eline Leijten, David Graus

Alyson wrote her thesis on the Digital Services Act’s Transparency database (DSA-TDB); in her work, she compares the taxonomy of Statements-of-Reason VLOPs and VLOSEs can give for content moderation, and compares it to these same platforms’ own Terms & Conditions (using the very excellent Terms and Conditions Database! She finds that the DSA categories fit some types of platforms much better than others, and they overlap, which makes catch-all reporting (the “other” category) a predictable result of the database’s design.

This work is led by Alyson Ranucci and co-authored with Eline Leijten (Amsterdam Law & Technology Institute, VU Amsterdam) and me.

[PDF] A. Ranucci, E. Leijten, and D. Graus, “Towards More Granular Reasoning: Mapping the DSA Transparency Database Taxonomy to Platform Terms and Conditions Using Large Language Models,” in JURIX 2026, Toulouse, France, 2026.

Machina Pauliana: A neuro-symbolic approach to the actio pauliana in Dutch insolvency law

Daan Boven, Gregor Behnke, David Graus

Daan, dual bachelor Law (Leiden University) and Computer Science (UvA) came to me and my colleague Gregor Behnke, with the proposal of automating the “actio pauliana” of Article 42 of the Dutch Bankruptcy Act (Faillissementswet, Fw). The only natural response when a student comes in with such a proposal is what’s that yes, let’s do it! In this very self-driven work, Daan develops a neuro-symbolic model of Article 42 Fw, which consists of a symbolic part developed through pair programming with legal experts, and a neural component that handles open-textured terms through advanced RAG (RAG with pre- and post-retrieval steps).

This work is led by Daan Boven and co-authored with Gregor Behnke and me.

[PDF] D. Boven, G. Behnke, and D. Graus, “Machina Pauliana: A neuro-symbolic approach to the actio pauliana in Dutch insolvency law,” in JURIX 2026, Toulouse, France, 2026.

Spotlight Tutorial: From Records to Release: An IR/NLP Tour of the Open Government Disclosure Lifecycle

In addition to co-authoring these two papers, I’ll be giving a spotlight tutorial on the Open Government disclosure lifecycle from an IR and NLP perspective, based on work in preparation with Maik Larooij, Maarten Marx, and Jaap Kamps. Read more details on the tutorial page at opengov.nl.

Leesje: een AI-leesmaatje voor kinderen van 3 tot 7

2026-10-04T12:00:00+02:00

Na Zwaailicht.nl heb ik een tweede vibecode-project, en ze lijken enorm op elkaar. Allebei zijn ze een combinatie van dingen die ik snap en tof vind. Deze keer zijn dat conversational recommender systems en conversational AI. Oftewel: boeken aanraden door ernaar te vragen, en daarna samen (voor)lezen.

Het idee heb ik al langer. In 2024 maakte ik een pitch deck voor “Leesje, het voorleeslieveheersbeestje”. In 2025 bouwde ik met Manon Sikkes een eerste simpel prototype, nog met zelfgebouwde LangChain-graphs en ingewikkelde multi-agent flows. Nu heb ik het deck, de codebase en een berg losse ideeën aan Claude Code gegeven, met een bescheiden prompt: “maak hier een werkende MVP van.” Na een paar iteraties is er nu Leesje.app.l

Wat is Leesje?

Leesje is een AI-leesmaatje voor kinderen van 3 tot 7. Het is gebaseerd op het leescirkelmodel van Stichting Lezen [1], dat leeshonger wil opwekken. Leesje volgt die cirkel door bestaande technologie slim te combineren.

Eerst kiezen, wat het conversational recommender systems-deel is. Leesje vraagt waar je kind zin in heeft (“iets met een draak!”), vraagt door (“mag het een beetje spannend zijn?”) en raadt een paar boeken aan, met uitleg waarom.
Dan lezen en praten, het LLM-deel. Leesje leest voor of luistert, en stelt op gezette momenten vragen volgens de methode van dialogisch lezen. Dat is een van de best onderzochte en gevalideerde manieren van samen lezen.
Tot slot napraten. “Hoe vond je het?” Dat antwoord maakt het volgende boekadvies beter, en de cirkel is rond.

lees meer op leesje.app/over

Waarom?

De leesvaardigheid daalt. Volgens PISA-2025 leest 39% van de Nederlandse 15-jarigen onder het basisniveau, tegen een derde in 2022. Leesplezier groeit juist met betrokken lezen: zelf kiezen, erover praten, het nog een keer lezen. Verder is recommender systems gewoon tof, en het is bijna Kinderboekenweek.
Er is ook een minder vrolijke reden. Onderzoek van OpenAI laat zien dat 3- tot 7-jarigen ondervertegenwoordigd zijn onder betalende gebruikers. Daarmee loopt deze hele groep alvast met 1-0 achter als ze over een jaar of twaalf tot vijftien de arbeidsmarkt op komen.

Hoe nu verder?

Het einddoel is een Leesje zonder scherm: alleen een stem, terwijl je kind een echt boek vasthoudt. Het scherm is er voorlopig vooral voor ons, de grote mensen.

Wil je meekijken, testen of meedenken? Stuur me een bericht. 🐞

[1] https://www.lezen.nl/publicatie/lezen-doe-je-samen-hoe-kan-leeshonger-gestimuleerd-worden/

Drie keer iBestuur in twee dagen

2026-06-04T12:00:00+02:00

Ik heb een iBestuur-hattrick! En stond de afgelopen twee dagen drie keer op iBestuur, om uiteenlopende redenen. Voor wie het overzicht kwijt is, een korte rondgang met links naar het origineel.

2 juni: Audio uit raadsvergaderingen levert een schat aan info op (crosspost van Binnenlands Bestuur)
Over hoe we werken met lange, ontoegankelijke audio-opnames van raadsvergaderingen, door ze op te knippen in doorzoekbare ‘nuggets, of de audiotranscripten samen te vatten met LLMs. Wat laten die dan weg? In ieder geval procedurele zaken, maar misschien ook inhoudelijke onderwerpen. Stay tuned!

3 juni: AI en Open Overheid: lessen van de internationale wetenschap
Mijn eigen stuk: een vogelvlucht door het onderzoek dat op 8 juni in Singapore wordt gepresenteerd op onze AI & Open Government workshop. Ik heb hier geprobeerd de ‘praktische inzichten’ op te sommen in gewone mensentaal, voor bestuurders. Die inzichten? Met publiek beschikbare en open-source modellen, slim gecombineerd, kom je al een heel eind met AI inzetten voor de Woo.

3 juni: Vijf jaar later: hoe is het met de Woo?
Het verslag van de vijfde Woo-ontbijtsessie, waar ik aan tafel zat met staatssecretaris Eric van der Burg, Ingeborg Harmsen en Onno Eric Blom. Mijn punt: voor informatiehuishouding bij de overheid kunnen we best wat minder gestructureerd zijn, en meer leunen op bewezen zoektechnologie.

Nu is het vast een goed moment voor iBestuur en ik om even wat afstand van elkaar te nemen. Allicht tot volgend jaar!

In iBestuur: WooPush, AI en overheid

2026-05-21T12:00:00+02:00

Ik sta (met mijn hoofd) in iBestuur, met een interview waarin onder meer WooPush aan bod komt, mijn huidige “OpenGov meets RecSys”-project, waarbij we onderzoeken of aanbevelingssystemen kunnen bijdragen aan geïnformeerd burgerschap, door relevante (lokale) overheidsinformatie proactief naar mensen te ‘pushen’, in plaats van te wachten tot ze zelf op zoek gaan. Op dit moment werken een aantal getalenteerde en gedreven studenten aan hun afstudeerscripties over verschillende (randvoorwaardelijke) deeltaken voor WooPush, van het transcriberen en samenvatten van opnames van raadsvergaderingen, het metadateren van raadsstukken, het identificeren van relevante informatie zoals beleidswijzigingen in raadsstukken, tot daadwerkelijke user studies (met echte mensen in de echte wereld!) naar de informatiebehoeften van burgers. Ik zie erg uit naar de resultaten die de komende tijd zullen binnendruppelen, en ben blij met de inzet van Kevin, Kate, Bram, Ian Hutcheson, Raphael, en Noah!

De “Netflix-knop” uit de titel is een voor de hand liggende, passende metafoor, maar in het stuk nuanceer ik die ook gelijk: Netflix interesseert het vooral of jij een aangeboden film gaat kijken. Bij overheidsinformatie tellen andere zaken mee: is de informatie handelingsgericht? Is het relevant voor de burger op basis van interesses, levensfase, of geografische nabijheid? Is de informatie begrijpelijk? Dat maakt dit vraagstuk complexer dan Netflix, maar ook potentieel impactvoller: het verschil tussen wel of geen insrpaak hebben op een beleidswijziging, is nogal wat anders dan het verschil tussen wel of geen Bridgerton.

Voor de rest wordt er in dit stuk ook aandacht besteed aan AI-kwesties waar ik me al langer graag over uitspreek, zoals: je kunt beter het idee vergeten dat je volledige (Woo-)processen kunt automatiseren met AI. AI werkt het best wanneer je het klein houdt, richt je dus op kleine, nauwe deeltaken. De imperfecties die bij hedendaagse (generative) AI komen kijken (bias, hallucinaties, willekeur, betrouwbaarheid) moet je daarbij niet zien als bugs die ooit gefixt moeten worden, maar als inherente eigenschappen ervan. Eigenschappen waar je in je ontwerp rekening mee moet houden, en mee bouwt. Als laatste, waar ik al jaren van overtuigd ben: AI is geen black box waar we aan overgeleverd zijn, maar iets dat we zelf kunnen bedenken, ontwerpen, bouwen, beheren, en doorontwikkelen!

Dank Martijn Bennis voor het gesprek!

Two papers accepted at AIOG 2026

2026-05-05T12:00:00+02:00

Two papers I co-authored have been accepted at the AI & Open Government Workshop (AIOG 2026), co-located with ICAIL 2026 in Singapore on June 8.

Both come out of student work at the ICAI OpenGov Lab, and tackle different sides of the same broad problem: automating parts of the FOIA process that are currently bottlenecked by manual review.

Out of the Box: Zero-Shot Vision-Language Models for Redaction Detection and Page-Stream Segmentation

Özgür Ateş, David Graus

This paper grew out of Özgür’s BSc AI individual project. He tested whether off-the-shelf vision-language models (Nanonets-OCR) without task-specific training can detect redactions in disclosed government documents and segment page-streams. Both are problems that come up when working with real FOIA releases, and both are surprisingly hard for OCR-based pipelines. We find that zero-shot VLMs do worse than task-specific trained supervised approaches, but perform well enough out of the box to be practically useful, which is good news for anyone who doesn’t have the resources or the labelled data to train custom models.

[PDF] Ö. Ateş and D. Graus, Out of the Box: Zero-Shot Vision-Language Models for Redaction Detection and Page-Stream Segmentation, 2026.

To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification

Maik Larooij, David Graus

Deliberative process privilege is one of the trickier FOIA exemption categories; whether something is exempt depends on context the classifier needs to reason about, not just surface features. This paper shows that a locally hosted LLM (Qwen 3.5) can classify deliberative process material with reasonable accuracy. The “local” part matters: government documents are often too sensitive to send to commercial LLM APIs in the first place, so a local model isn’t just nice-to-have, it’s frequently the only real option.

[PDF] M. Larooij and D. Graus, To Redact, or not to Redact? A Local LLM Approach to Deliberative Process Privilege Classification, 2026.

About AIOG

AIOG is a first-edition workshop bringing together researchers and practitioners across information retrieval, legal AI, NLP, e-discovery, and open government; communities that share concrete problems but rarely meet under one roof. I’m co-organizing alongside Graham McDonald (University of Glasgow) and Jason R. Baron (University of Maryland).

The full list of accepted papers is at aiog.net/accepted-papers.

Big congratulations to Özgür and Maik!

Paper accepted at ICAIL 2026: LLMs for Generating Decision Models from Legal Text

2026-04-09T12:00:00+02:00

🎉 Full paper accepted at the 21st International Conference on Artificial Intelligence and Law (ICAIL 2026): “From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation”

**Update 10 Jun 2026: I presented this paper at ICAIL 2026, see my slides here.**

Get the preprint, here:

[PDF] D. Graus, “From Legal Text to Executable Decision Models: Evaluating Structured Representations for Legal Decision Model Generation,” in Proceedings of the International Conference on Artificial Intelligence and Law (ICAIL), Singapore, 2026.

This paper studies LLMs and representation for generating executable decision models from legal text, using the Dutch Environment and Planning Portal (Digitaal Stelsel Omgevingswet (DSO)) as a case study, as it pairs complex hand-crafted decision models with legal articles. There’s 2 main findings!

1️⃣ We* find that providing input & output specifications (i.e., what variables a citizen must provide, and what the legal outcomes may be) improve LLM performance over raw legal text or text enriched with semantic role labels.

2️⃣ Interestingly, when evaluating generated models’ structural similarity to ground truth (do the models look similar?), and outcome similarity (do they yield the same legal outcomes?) we find complementarity: generated models can score well on structure while missing legal nuance, or vice versa. 🤏 More interestingly, we find that some models are structurally very dissimilar, and mostly much smaller/simpler, while yielding 100% identical legal outcomes! See attached pic for an example: the generated decision model yields 100% identical outcomes while completely ignoring 2 out of 4 input variables!

🎁 We release the full dataset of 95 production-grade decision models and their associated legal text, for reproducibility and extension of this work. It really is a pretty cool dataset!

Stay tuned for the preprint! See you in 🇸🇬 Singapore, where we’ll also host the 1st AI & Open Government (AIOG) Workshop!

* when I say “we”, I actually mean “I” but it sounds weird — this is a single author paper; but I have to thank Anne Schuth and Damiaan Reijnaers for feedback, help, and inspiration!

Nieuwe feature op zwaailicht.nu: nieuws!

2026-02-18T12:00:00+01:00

Ik haal en koppel automatisch lokaal en online nieuws aan gegroepeerde en samengevatte meldingen op zwaailicht.nu. De bronnen variëren van landelijke titels als AD.nl, NU.nl, RTL Nieuws en NOS, tot lokale titels als Noordhollands Dagblad en de Stentor, en concullega’s als Alarmeringen.nl.

Nieuwsberichten verschijnen sinds nu op elke pagina waar de pieken beschreven staan, en ook op een verzamelpagina waar ik per nieuwsbericht gekoppelde meldingenpieken toon, inclusief het tijdsverschil tussen nieuwspublicatie en P2000-melding!

Neem een kijkje op zwaailicht.nu/nieuws!

In Quest: wat AI over je weet

2026-02-18T12:00:00+01:00

Erg leuk om zo in de Quest te staan! Vanuit de vraag “wat weet AI over jou?” kom je (ik?) al gauw uit op allerlei interessante Information Retrieval-vraagstukken die de huidige generatie AI-chatbots met zich meebrengt.

Zoals (natuurlijk) Retrieval-Augmented Generation (RAG), het verschil tussen parametric en non-parametric memory, de fragiliteit van AI rond de positie van relevante informatie (“Lost In the Middle“-achtige uitdagingen). En hoe leg je al die thema’s uit zonder ook maar een technische term te gebruiken? Nou, zo dus, geloof ik!

Lees het stuk hier: https://www.quest.nl/tech/technologie/a70392166/wat-weet-chatgpt-over-jou-zo-werkt-ai-met-jouw-gegevens/

Call for Papers: AI & Open Government Workshop at ICAIL 2026

2026-02-10T12:00:00+01:00

We’re excited to announce the AI & Open Government Workshop (AIOG), co-located with ICAIL 2026 in Singapore on June 8, 2026. The call for papers is now open!

Together with Graham McDonald (University of Glasgow) and Jason R. Baron (University of Maryland), I’m co-organizing this workshop to bring together researchers and practitioners working at the intersection of AI and government transparency. As the research we do at the OpenGov Lab sits exactly at this intersection, we felt there was a need for a dedicated venue where these communities can meet: spanning information retrieval, legal AI, NLP, e-discovery, and open government practice.

Why this workshop?

Governments worldwide are grappling with the challenge of making public information accessible and transparent at scale. Whether it’s processing freedom of information requests, reviewing documents for sensitive content before publication, or making government archives searchable; AI has a growing role to play. At the same time, this raises important questions about reliability, fairness, and accountability.

AIOG aims to be a space where we can discuss these challenges across disciplinary boundaries. We’re particularly interested in bringing together people who don’t always meet at the same conferences: IR researchers, legal tech practitioners, government professionals, and transparency advocates.

Topics of interest

We welcome submissions on topics including, but not limited to:

FOIA and public records automation
AI-assisted sensitivity review and redaction
Large language models for government applications
Information retrieval in government archives
Transparency technologies and open government policies
Legal and ethical considerations in AI-enabled government transparency

Submission details

We accept two types of submissions:

Research papers: 3–9 pages (excluding references)
Position papers: 2–4 pages (excluding references)

All submissions should follow the ICAIL 2026 formatting guidelines. Papers may be under review elsewhere, and previously published work is welcome for presentation. Submissions are handled through OpenReview.

Important dates

Submission deadline: April 9, 2026
Notification of acceptance: May 1, 2026
Camera-ready deadline: May 20, 2026
Workshop: June 8, 2026

Note that our submission deadline falls after ICAIL’s main conference notification date (March 23), so if you have relevant work that didn’t make it into the main conference, we’d love to see it at AIOG.

Get involved

For more information, visit aiog.net or submit your work via OpenReview. Feel free to reach out to me at d.p.graus@uva.nl if you have any questions.

We hope to see you in Singapore! 🇸🇬

Vibe-code project: Zwaailicht.nl

2026-02-09T12:00:00+01:00

De afgelopen weekenden heb ik zitten rommelen aan een hobbyprojectje samen met Claude Code: zwaailicht.nu. Zwaailicht.nu combineert een antenne aan een Raspberry Pi in mijn meterkast met mijn IR en NLP interesse: ik haal realtime P2000-meldingen van hulpdiensten in Nederland uit de lucht, en toon die op een interactieve kaart, gesorteerd op afstand (van je huidige locatie).

Die (publieke) P2000-berichten zijn nogal cryptisch, vol afkortingen, voertuigcodes, en capcodes, dus bouwde ik er een kleine pipeline bij voor semantische verrijking, geocoding, en burst detection, clustering, en LLM-gebaseerde samenvattingen om clusters losse berichten om te zetten naar iets begrijpelijks. Naast dat clusteren van “pieken” in meldingen sla ik alle verrijkte berichten op, laat je ze filteren (en subfilteren: woningbranden, voertuigen te water, spoorwegongevallen, of gevaarlijk stoffen), heb ik per stad een landingspagina waar ik bijhoud hoeveel en wat voor soort meldingen binnenkomen, en natuurlijk een ranking.

Vibe-coden met Claude Code is erg indrukwekkend en vermakelijk (je verzint wat, je bouwt wat), maar bovenal is het gewoon leuk om een aantal IR- en NLP-concepten (information extraction, document clustering, text generation) samen te laten komen in iets dat daadwerkelijk ergens draait. En een vraag te bantwoorden waar ik zelf eigenlijk gewoon altijd nieuwsgierig naar ben.

🚨 zwaailicht gezien? zwaailicht.nu!

In iBestuur: WooPush

2026-02-02T12:00:00+01:00

iBestuur published a small article about the Open Data Conferentie where I gave my keynote on WooPush, see the snippet below:

De eerste keynote kwam van David Graus (ICAI OpenGov Lab). Hij liet zien dat open data pas echt impact heeft als het aansluit op wat burgers nodig hebben. Niet alleen het publiceren van open data telt, maar vooral dat informatie op een laagdrempelige manier beschikbaar is voor hergebruik.

Graus schetste het contrast tussen publieke data-infrastructuren en commerciële platforms zoals TikTok of Spotify, die hun gebruikers door en door kennen en actief content aanbevelen. ‘De vraag is niet: hoe maken we meer data openbaar? Maar: hoe zorgen we dat mensen de informatie vinden die voor hen betekenisvol is, zónder dat ze er expliciet om vragen?’

De uitdaging zit volgens Graus in de datakwaliteit (dus niet: gescande documenten, zwartgelakte pdf’s, ontbrekende metadata, et cetera), toegankelijkheid (denk aan: type documenten, gecombineerde pdf’s of decentrale bronnen) en de vraag: wie wordt er eigenlijk bereikt?

Die laatste is de grootste uitdaging, volgens Graus. ‘De wetenschappelijke literatuur laat zien: open data empowers the empowered,’ waarschuwt hij. ‘Als we willen dat open data recht doet aan publieke waarden, moeten we meer doen dan alleen publiceren.’

🔗 and read the full article here: Nieuwe energie op Open Data Conferentie 2026

In NEMO Kennislink: Europe and (the) AI (bubble)

2026-01-14T12:00:00+01:00

Wat leuk om in dit stuk van NEMO Kennislink te staan, waarin ik, volledig tegen mijn natuur in, als genuanceerde voice of reason fungeer. Wie had dat gedacht 😅.

Want: moeten we nu als een malle in AI investeren, om niet de boot te missen? Uh, tja. We raken het scaling plateau, het eerste empirisch onderzoek dat binnendruppelt lijkt de beloofde productiviteitswinsten van AI wat te weerleggen, en het blijft ook wat verdacht dat al die big tech bedrijven iedereen, inclusief hun medewerkers, AI door de strot proberen te duwen. Maar, een AI Factory en betere faciliteiten en aandacht voor AI onderzoek lijkt mij een uitstekend plan (😇). En werken zonder Claude zie ik ook niet meer echt zitten… Afijn, je snapt het.

Mijn favoriete passage (naast “Graus kijkt vanaf zijn bureaustoel naar buiten“–uit het leven gegrepen):

“Op de arbeidsmarkt, waar discriminatie structureel voorkomt, kunnen AI-systemen dit probleem versterken, maar ook helpen tegengaan; mits goed ontworpen.”

Liever doen we AI goed, dan groot en duur!

Benieuwd naar mijn twijfels, en of ik geloof in AI of in de AI bubbel? Lees: Europa moet eigen positie claimen in de AI-race.

Dank aan Daan Appels voor het accuraat optekenen van mijn lichte twijfel, nuance, en voorzichtigheid met stellige uitspraken over de toekomst van AI, naast de wat meer optimistische blik van Michiel Bakker!

In Trouw: mitigating harmful content in GenAI (Grok)

2026-01-11T12:00:00+01:00

This weekend I was asked a few questions about mitigation of harmful content in AI, in response to the news around Groks use for generating sexualized content: Grok produceert massaal en ongewild seksuele afbeeldingen. Kan dat ook anders? I was quoted:

In theorie zijn AI-bots als Grok prima te begrenzen, zegt universitair docent David Graus (Universiteit van Amsterdam). Dat begint al bij de ontwikkeling ervan. “Je kunt de bot van tevoren bijsturen en trainen: ‘als ik zo’n vraag stel, wil ik zo’n soort antwoord zien.”En is de bot eenmaal in gebruik, zoals bij Grok? Dan kan een bedrijf achteraf altijd nog filters toevoegen.

“Bijvoorbeeld een verbod op de woordcombinatie ‘uitkleden’ en ‘deze foto’, om maar iets te noemen.” Dat filteren kun je zelfs ook weer met kunstmatige intelligentie doen, zegt Graus. “Dat werkt over het algemeen vrij goed.”

What didn’t make the cut due to space constraints, was my full answer, stating three layers of harmful content mitigation:

Data: curate your data to reduce harmful content
Training/fine-tuning: instruct your model to show (un) desired behavior
Output: filtering with heuristics (words) or using LLMs-as-judge to estimate the likelihood the prompt will yield harmful content

Each of these methods work, have different costs, are likely all applied (to some extent), but neither is an end-all solution.

“Fairness and Bias in Algorithmic Hiring” Survey Paper published in ACM TIST

2024-09-24T12:00:00+02:00

The aforementioned survey paper on fairness and bias in algorithmic hiring, in which I contributed a section on bias measurement and mitigation in practice, has been accepted for publication in ACM Transactions on Intelligent Systems and Technology (TIST)!

The paper is published open access, and is currently to be found in the “Just accepted” section of the journal. See the DOI here: http://dx.doi.org/10.1145/3696457

“Aspect-Based Sentiment Analysis for Open-Ended HR Survey Responses” accepted at NLP4HR workshop at EACL2024

2024-02-01T12:00:00+01:00

Lois Rink, our former MSc data science intern at Randstad Groep Nederland, has published her thesis at the 1st Workshop on Natural Language Processing for Human Resources (NLP4HR), to be held at EACL 2024.

Lois’ thesis is titled Aspect-Based Sentiment Analysis for Open-Ended HR Survey Responses, and was written under supervision of Job Meijdam and myself. Get the preprint here or on arXiv:

[PDF] L. Rink, J. Meijdam, and D. Graus, “Aspect-Based Sentiment Analysis for Open-Ended HR Survey Responses,” in 1st Workshop on Natural Language Processing for Human Resources, 2024.

Abstract:

Understanding preferences, opinions, and sentiment of the workforce is paramount for effective employee lifecycle management. Open-ended survey responses serve as a valuable source of information. This paper proposes a machine learning approach for aspect-based sentiment analysis (ABSA) of Dutch open-ended responses in employee satisfaction surveys. Our approach aims to overcome the inherent noise and variability in these responses, enabling a comprehensive analysis of sentiments that can support employee lifecycle management. Through response clustering we identify six key aspects (salary, schedule, contact, communication, personal attention, agreements), which we validate by domain experts. We compile a dataset of 1,458 Dutch survey responses, revealing label imbalance in aspects and sentiments. We propose few-shot approaches for ABSA based on Dutch BERT models, and compare them against bag-of-words and zero-shot baselines. Our work significantly contributes to the field of ABSA by demonstrating the first successful application of Dutch pre-trained language models to aspect-based sentiment analysis in the domain of human resources (HR).

Three papers accepted at RecSys in HR 2023

2023-08-28T12:00:00+02:00

For this year’s edition (the third in a row) of the Recommender Systems in Human Resources workshop, to be held at the ACM RecSys Conference in Singapore, I co-authored three accepted papers:

Enhancing Resume Content Extraction in Question Answering Systems through T5 Model Variant

[PDF] Y. Luo, F. Lu, V. Pal, and D. Graus, “Enhancing Resume Content Extraction in Question Answering Systems through T5 Model Variants,” in RecSys in HR’23: The 3rd Workshop on Recommender Systems for Human Resources, 2023.

This paper is based on the MSc Data Science thesis of Yuxin, who was supervised by Feng. Yuxin applied Large Language Models (mT5) to do Question Answering over resumes for information extraction.

Career Path Recommendations for Long-term Income Maximization: A Reinforcement Learning Approach

[PDF] S. Avlonitis, D. Lavi, M. Mansoury, and D. Graus, “Career Path Recommendations for Long-term Income Maximization: A Reinforcement Learning Approach,” in RecSys in HR’23: The 3rd Workshop on Recommender Systems for Human Resources, 2023.

This is Spyros’ MSc AI thesis (from 2022), who was jointly supervised by me and Dor. Spyros applied reinforcement learning to career path recommendations, leveraging Randstad’s rich data for simulating an environment in which agents can apply for jobs, be hired, and receive salary.

Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules

[PDF] J. Vrolijk and D. Graus, “Enhancing PLM Performance on Labour Market Tasks via Instruction-based Finetuning and Prompt-tuning with Rules,” in RecSys in HR’23: The 3rd Workshop on Recommender Systems for Human Resources, 2023.

This paper is based on work by Jarno on using structured taxonomy data for training and fine-tuning Large Language Models for different downstream tasks (such as relation classification, entity linking, and question answering).

See the full list of accepted papers.

“Transfer learning for multilingual vacancy text generation” preprint available

2022-11-01T12:00:00+01:00

Anna Lőrincz‘ UvA MSc. data science thesis “Transfer learning for multilingual vacancy text generation” — which was graded a 9/10 💫 — was recently accepted at the The Second Version of Generation, Evaluation & Metrics (GEM) Workshop 2022 which will be held as part of EMNLP, December 7-11, 2022!

Get the pre-print here:

[PDF] [DOI] A. Lőrincz, D. Graus, D. Lavi, and J. L. M. Pereira, “Transfer learning for multilingual vacancy text generation,” in Proceedings of the 2nd Workshop on Natural Language Generation, Evaluation, and Metrics (GEM), Abu Dhabi, United Arab Emirates (Hybrid), 2022, p. 207–222.

In her work, Anna explores transformer models for data-to-text generation, or more specifically: given structured inputs such as categorical features (e.g., location), real valued features (e.g., salary of hours of work per week), or binary features (e.g., contract type) that represent benefits of vacancy texts, the task is to generate a natural language snippet that expresses said feature.

Anna finds that using transformers greatly increases (vocabulary) variation when compared to template-based models, and needs less human effort. The results were — to me — surprisingly good, another proof that transformers are taking over the world and making traditional NLP methods partly obsolete.

I was very much impressed with this work! But, to show how even transformers are not perfect, yet, I present you with my favorite error from the paper:

input: LOCATION = Zwaag output: Pal gelegen achter het centraal station Zwaaijdijk!

Hope to catch you sometime in Zwaaijdijk!