Castro bazılarına göre eşcinsellerin dünya başkenti sayılıyor. 1910-1920 yılları arasında buradaki yoğun İsveç, Norveç ve Finlandiya nufusundan dolayı burası Küçük İskandinavya olarak biliniyormuş. 1930 lardan 1960 lara kadar ise İrlandalı işçi sınıfına ev sahipliği yapmış. Amerikan ordusu 2. Dünya Savaşı sırasında San Francisco'da eşcinsel personelini işten çıkardıktan sonra bu personelin büyük kısmı Castro ve çevresine yerleşir ve burasının bugünkü durumunun temellerini atar. Eşcinsel yerleşim yeri olarak kimliğinin kabul edilmesi ise 1967'de komşu yerleşimi Haight-Ashbury'de gerçekleşen Summer Of Love'dan sonra oluyor. Daha önceleri Eureka Valley olarak bilinen bu yer bugünkü Castro ve Market Street arasındaki Castro Sinema'sından dolayı Castro olarak bilinmeye başlıyor.
