van Gaals genidrag avgjorde för Holland
Med 119 minuter på klockan av kvartsfinalen och vid ställningen 0-0 bytte Louis van Gaal målvakt - Newcastlekeepern Tim Krul klev in och räddade två av Costa Ricas fem straffar och förde Holland till semifinal.
Det var första gången i VM-historien som en tränare vågade sig på ett taktiskt byte med syftet att maximera utdelningen i straffsparkstävlingen. Jasper Cillesen hade under sin karriär inte stoppat en enda av de 16 straffar som skjutits på honom.
Trots att Holland avgjorde sent, hade bägge lagen flera goda chanser att avgöra under matchens första 120 minuter
Tapper kamp av Costa Rica
Matchens första halvlek gick i Hollands kommando, men de få lägen som VM-finalisten från 2010 skapade stoppades av Costa Ricas duktige målvakt Keylor Navas.
Närmast mål i den första halvleken kom Robin van Persie, vars hårda skott Navas parerade. Navas fick också en fot i vägen för Memphis Depays försök vid den främre stolpen.
Costa Rica kom inte till ett enda avslut i den första halvleken, men skapade tryck på Holland i ett par repriser vid frisparkar på offensiv planhalva.
Holland fortsatte att trumma på i den andra halvleken och kom ytterst nära ett ledningsmål. Wesley Sneijder träffade stolpen med en farlig frispark och Robin van Persie fick se sitt skott på tilläggstid räddas på mållinjen av Yeltsin Tejeda.
Osannolik avslutning
Matchen stod 0-0 efter 90 spelade minuter.
I förlängningen hade bägge lagen ypperliga chanser att avgöra, men drabbningen gick till straffar vid ställningen 0-0. Strax innan straffsparkstävlingen skulle inledas drog Louis Van Gaal ett ess ur rockärmen då han plockade ut som målvakt Jasper Cillesen och ersatte honom med VM-debuterande Tim Krul.
Krul räddade två av Costa Ricas straffar medan Holländarna satte fyra skott säkert i mål bakom Navas och Holland gick vidare till semifinal.
I semifinal väntar Argentina som tidigare under dagen slog ut Belgien med 1-0.
VM-kvartsfinal, Salvador
Holland - Costa Rica 4-3, 0-0
Hollands straffmålskyttar:
Robin van Persie, Arjen Robben, Wesley Sneijder, Dirk Kuyt
Costa Ricas straffmålskyttar:
Celso Borges, Giancarlo Gonzalez, Christian Bolanos
Holland:
Jasper Cillessen (Tim Krul 120+1); Stefan de Vrij, Ron Vlaar, Bruno Martins Indi (Klaas-Jan Huntelaar 106); Dirk Kuyt, Georginio Wijnaldum, Wesley Sneijder, Daley Blind; Arjen Robben, Robin van Persie (kapten), Memphis Depay (Jeremain Lens 76)
Costa Rica
Keylor Navas; Cristian Gamboa (Dave Myrie 79), Johnny Acosta, Giancarlo Gonzalez, Michael Umana, Junior Diaz; Bryan Ruiz (kapten), Yeltsin Tejeda (Jose Cubero 97), Celso Borges, Christian Bolanos; Joel Campbell (Marco Urena 66)
Red anm (11:58) - korrigerat antalet straffskyttar för Costa Rica