Crescut de Brondby, Olsen a fost cumpărat în 2012 de Inter Milano, care a plătit 260.000 de euro pentru transferul său. Danezul a jucat la echipa Primavera a clubului, dar a avut și o apariție la prima echipă a nerazzurrilor. Olsen a jucat apoi în liga secundă din Franța, la Lens (august 2015 – ianuarie 2017), unde a avut 26 de meciuri și 4 goluri.
După diverse experiențe în țara sa natală, la FC Helsingor, Aalborg sau Aarhus, Patrick Olsen a ajuns la Slask Wroclaw în februarie 2022, unde a acumulat 73 de meciuri, 3 goluri și două pase decisive. În noul sezon, danezul nu a jucat deloc.
Noul nostru jucător a început fotbalul la Brondby, a terminat junioratul la Inter Milano și a mai jucat în Norvegia (Haugesund), Franța (Lens) și Elveția (Grasshopper Zurich), revenind în cele din urmă în țara sa natală, pentru FC Helsingor, Aalborg și Aarhus.
În sezonul trecut, Patrick a jucat în 29 de meciuri în Ekstraklasa și a marcat două goluri pentru polonezii de la Slask Wroclaw. Patrick Olsen va purta tricoul alb-roșu până în 2026, conform comunicatului emis de Dinamo.