Od svog postanka bila je važna tačka na mapi gradskih dešavanja. Kafana “?“, koja se nalazi u Ulici kralja Petra u Beogradu u nekadašnjoj Glavnoj čaršiji, verovatno je najstarija postojeća kafana u Beogradu. Inače, ta trgovačka ulica koja kreće od Saborne crkve, a završava se na Dorćolu delila se na tri dela. Prvi je bila Glavna čaršija, koja je dopirala do raskršća ulica Kralja Petra i Knez Mihailove, a zatim su sledili Zerek i Dorćol.

Kuća u kojoj se nalazi kafana „?“, po nalogu kneza Miloša podignuta je 1823. godine. Tipična gradska kuća u balkansko-orijentalnom stilu, jedan je od svega nekoliko sačuvanih primera takve arhitekture. U putopisima iz prve polovine devetnaestog veka pominje se Srpska kafana u ovoj kući, gde je, između ostalih svraćao i Vuk Karadžić. Kafana je tokom istorije menjala imena u Ećim-Tomina, Kod pastira, Kod saborne crkve. Ovaj poslednji naziv nije dugo trajao. Kako je dobila ime, koje nosi i danas, pisao je u tekstu „Beogradske kafane“ Branislav Nušić.

“Kada je vladika Inokentije postao mitropolit i nastanio se prema Sabornoj crkvi, njega je ljutilo da se jedna kafana zove “Kod Saborne crkve”. Tako je zakupac kafane bio prinuđen da pozove firmopisca da izbriše firmu i zameni je novim imenom. Firmopisac je izbrisao staro ime ali niko, ni gazda ni gosti nisu mogli da se sete kakvo bi novo ime dali kafani. Nekoliko dana domišljali su se i gazda i firmopisac i gosti i nikako nisu mogli da nađu podesno ime. Za to vreme firmopisac ispiše iznad vrata znak pitanja u nameri da time označi da pitanje natpisa stoji otvoreno i da se čeka njegovo rešenje. Publika prihvati znak pitanja kao definitivno rešenje i tako i nazove kafanu koja ostade zatim, pa sve do danas, kafana kod Znaka pitanja.”

U njoj se 1834. godine zaigrala prva partija bilijara u Beogradu, a od iste godine postala je prvo čitalište Srpskih novina. Glavne mušterije dugo su bile posetioci Saborne crkve, kao i oni koji su poranili na službu. Tu su se “okrepljivali” oni koji koji su govorili na ispraćaju pokojnika, a “zagrevali” su se i članovi pevačkih društava pred nastup.

Po završetku Drugog svetskog rata, kafana „?“ je proglašena spomenikom kulture.

Nakon Drugog svetskog rata, zbog blizine Akademije primenjenih umetnosti česti gosti kafane bili su studenti i profesori, pa se priča da su tamo polagali i ispite. Slikari su tu dobijali inspiraciju, organizovali izložbe, pa je kafana, početkom sedamdesetih, funkcionisala i kao galerija. Kafana je 1959. oduzeta kafedžiji Ivanu Pavloviću i pretvorena u društveno vlasništvo. Prilikom privatizacije posle 2000. godine je ova kafana izuzeta iz privatizacije kao spomenik kulture i dodeljena je gradu Beogradu na upravu.

Danas, ako je suditi po komentarima online rezervacionih sistema, „?“ je omiljeno mesto kako domaćim, tako i stranim turistima. Sa visokim ocenama komentarišu hranu, hvale uslugu, a najviše autentični ambijent.