Tallinna 21. Kooli juured ulatuvad eelmise sajandi algusesse, kui ta 1903. aastal asutati.

16. oktoobril 1903 aastal kirjutati “Eest Postimehes”, et: “2. oktoobril on Tallinna II poisslaste alguskool sisse õnnistatud.” Koolimaja asus siis praeguses Poska tänavas selleks tarbeks kohandatud üürimajas.

1911. aastaks oli kool muutunud juba Tallinna 2. Ühendatud Poeg- ja Tütarlaste Kroonualgkooliks. Sel aastal õppis seal 150 õpilast ja teiste linna algkoolide seas oli kool suurim ning kõige paremini varustatud. Alates 1917. aastast toimus õppetöö eesti keeles (oli varem venekeelne). Samal aastal muudeti kool Tallinna Linna 21. Algkooliks.

Et koolimaja oli oma linnajaos ainus, hakkas üha enam ennast tunda andma ruumikitsikus. Lõpuks läks see nii suureks, et linn pidas vajalikuks midagi ette võtta. 21. juunil 1922 antigi nõusolek “kõrgema algkoolimaja ehitamiseks”. Arhitektiks määrati linnanõunik Artur Perna. 15. oktoobril toimus pidulik nurgakivi panek, kus olid kohal paljud tollased tähtsad riigimehed eesotsas presidendiga. Eesti Vabariigi esimene riiklikest vahenditest ehitatav koolihoone pidi valmis saama 1. septembriks 1923. aastal. Kahjuks ei läinud kõik nii, nagu oli planeeritud. Ehitustöödes tekkis venimine sest pehme pinnase tõttu tekkisid hoone fassaadi ja seintesse praod. Ajakirjanduses põhjustas see teatavat poleemikat ja vaidlused süüdlase üle kestsid kolmekümnendate aastateni, mis sest, et koolimaja juba ammu kasutusel oli. Pikaks ajaks jäi koolile külge hüüdnimi “pragukool”.