Tak jak i w pozostałych rejonach Polski, AK rodziła się tutaj spontanicznie, na gruncie przedwojennych organizacji kombatanckich, patriotycznych i harcerskich. Kolejne etapy organizacji podziemnych przerywane były aresztowaniami ich przywódców i brutalnymi egzekucjami.
Pamiętając jednak, że Niemcy zaraz po wkroczeniu na Śląsk, przeprowadzili masowe egzekucje Polaków, konspiracja była jedyną formą aktywnej obrony, jaką należało przyjąć.
Już w 1939 roku powstała śląsko-dąbrowska siatka Organizacji Orła Białego, zawiązanego w Krakowie, której pierwszy przewodniczący, Piotr Makowski ps. „Piotr”, „Warski” został aresztowany w grudniu 1939, a jego zastępca Władysław Baromski ps. „Sosnowski” w sierpniu roku 1940, z kolei komendant śląskiego okręgu kpt. Franciszek Margosz ps. „Brzoza” w maju 1940 roku. Wszyscy zostali rozstrzelani w Oświęcimiu.
Równolegle na Śląsku powstawały struktury Służby Zwycięstwu Polski, czyli SZP, znaną tutaj jako PSZ, który to skrót tłumaczono jako Polskie Siły Zbrojne (nazwę tą stosowano później także dla ZWZ). Dowódcą śląskiego okręgu był pochodzący ze Strzelec Opolskich ppor. Józef Korol.. W sierpniu 1940 roku zginął w przypadkowej strzelaninie w willi „Lusia” w Wiśle – Jaworniku. Zachowane dokumenty ujawniły że siatka podziemia na Śląsku liczyła wówczas 14 200 członków. Następnym dowódcą okręgu śląskiego był ppor. rez. Józef Szmechta ps. „Hutnik”, rodem z Opolszczyzny.
Przechwycenie przez Gestapo ważnych informacji organizacyjnych w willi „Lusia”, które doprowadziło do aresztowania ponad 450 osób, praktycznego rozbicia siatki ZWZ na terenie Śląska i było silnym ciosem dla struktur podziemia. Wśród aresztowanych znalazł się komendant Okręgu wraz z całym niemal sztabem oraz większością dowódców terenowych. Szmechta oraz członkowie jego sztabu zostali skazani na śmierć i ścięci w Berlinie 1942 roku.
Rozwój polskiego podziemia zbrojnego na terenia Śląska był bardzo utrudniony, ze względu na liczną ludność niemiecką i ciągłą infiltrację struktur konspiracyjnych przez agentów gestapo. Tym niemniej w lutym 1941 roku komendantem Okręgu Śląskiego został ppłk. Henryk Kowalówka ps.„Oset”, „Skawa”, „Topola”, doświadczony oficer zawodowy. Komendantem Inspektoratu Katowickiego ZWZ został następnie ppor. Józef Skrzek ps.„Gromek”. Został on jednak aresztowany we wrześniu 1941 roku i w grudniu tegoż roku powieszony na drzewie w Bytkowie.
W czerwcu 1942 roku nastąpiły dalsze masowe aresztowania ofiarami ich padli również komendanci wielu obwodów. Ppłk. Kowalówka zagrożony aresztowaniem uszedł do Okręgu Poznańskiego AK przejmując jego dowództwo.
Następnym komendantem Okręgu Katowickiego został mjr Paweł Zagórowski, a szefem sztabu mjr Zygmunt Janke ps „Walter”, funkcjonował on jednak z siedziby w Krakowie. Intensyfikacja działalności AK nastąpiła wraz z przejęciem dowództwa Okręgu przez mjr. Zygmunta Waltera – Janke. Inspektorat Katowicki objął por. Wacław Stacherski ps.„Uważny”.
W marcu 1944 kolejne masowe aresztowania rozbiły Inspektorat Katowice. Aresztowano ponad 600 osób, wśród nich inspektora W.Stacherskiego i komendanta Wojskowej Służby Ochrony Powstania – por. Antoniego Gabrysiaka ps.„Ryś”. Obaj zostali wkrótce straceni. Po tym ciosie ppł. Janke zrezygnował z odbudowy Inspektoratu Katowickiego.
Organizacyjnie Okręg Śląski oprócz rejonu Katowickiego obejmował również tereny Śląska które przed wojną należały do Rzeszy; Gliwice, Bytom, Zabrze, Opole, gdyż tam również licznie występowała ludność Polska.
Początkowo tereny te stanowiły odrębny inspektorat, na którego czele stał Henryk Hulok ps. „Zabrzeski”. Po jego aresztowaniu obwody należące do tegoż inspektoratu zostały rozdzielone. I tak – w skład Inspektoratu Katowickiego weszły obwody Opole i Bytom / Gliwice, w skład Inspektoratu Rybnik – Obwód Racibórz / Koźle, a w skład Inspektoratu Tarnowskie Góry – Obwód Kluczbork.
Pomimo znacznych ofiar Okręg Śląski ZWZ a potem Armii Krajowej należał do najlepiej zorganizowanych i aktywnych. Działania polskiego podziemia na Śląsku obejmowały wywiad, informację i propagandę, łączność, działania zbrojne i kwatermistrzostwo. Powołano Wojskową Służbę Kobiet, Kierownictwo Dywersji -„Kedyw”, Służbę Duszpasterską, Wojskowy Sąd Specjalny i Wojskową Służbę Ochrony Powstania, która wchodziła w skład Oddziału Operacyjnego.
Osobną formacją był Legion Śląski, który powstał w Krakowie i składał się z 700 Ślązaków, którzy w czasie okupacji schronili się w Krakowie. Dowódcą Legionu został mjr Marian Kilian. W skład Legionu Śląskiego wszedł też oddział partyzancki, którym dowodził kpt. Wenancjusz Zych, a działający głównie w paśmie Policy, a także kompania konspiracyjna, zorganizowana w okolicy Zawoi, złożona przede wszystkim z przesiedleńców z Żywiecczyzny.
Bazy partyzanckich oddziałów Okręgu Śląskiego były rozmieszczone na obrzeżach w lesistych i górzystych terenach. Były to grupy liczące od kilkunastu do kilkudziesięciu żołnierzy. Największym liczebnie zgrupowaniem Okręgu Śląskiego AK była grupa „Garbnik”, zorganizowana na terenie Inspektoratu Sosnowiec, a działająca głównie na terenie Generalnej Guberni.
W jego skład wchodziły trzy kompanie – por. Stanisława Wenzla – „Twardego” (ok. 140 ludzi), por. Gerarda Woźnicy ps. „Hardy” (rozwinięta następnie do stanu batalionu liczącego w szczytowym okresie rozwoju ok. 230 ludzi) oraz por. Łukowskiego – „Boruty” (ok. 80 ludzi). Ta ostatnia została rozbita we wrześniu 1944 roku w Biskupim Borze.
Na pozostałym terenie Okręgu istniały oddziały złożone ze Ślązaków zbiegłych z Wehrmachtu i ludzi zagrożonych aresztowaniem. Były to niewielkie grupy ale zdeterminowane i bitne. Do najbardziej znanych należały w obwodach Będzin -oddział 25 ludzi st.sierż. Jana Miltona, Lubliniec - 39 ludzi sierż. Józefa Karpego, Kluczbork – 9 ludzi oddz.„Kasztany”, Racibórz – oddz. „Krwawnik”, Kłobuck – 23 ludzi oddz.„Żużel” i 48 ludzi oddz. „Anioł”, Zawiercie – 18 ludzi oddz. Śmiałego”, Katowice – „Boruty” i „Białego”. Były też oddziały zakonspirowane powoływane do konkretnych akcji. Dywersyjne i bojowe.
Najważniejszym z punktu widzenia partyzantki terenem na Górnym Śląsku było Podbeskidzie. Działał tam między innymi oddział „Beskid Zachodni”. W jego skład w roku 1943 wchodziły drużyny „Romanka”, „Czarni” i „Malinka”. Na zimę 1943/44 oddział został rozformowany, a latem 1944 roku odtworzony jako kompania „Garbnik” (trzy plutony, w sumie ok. 140 ludzi). Wokół Brennej operowało zgrupowanie partyzanckie „Wędrowiec” (plutony „Ustroń” i „Brenna”), które to w styczniu 1945 opanowało Brenną, gdzie utworzyło tzw. republikę partyzancką, i które po mobilizacji, jaką wtedy przeprowadzono liczyć miało ok. 200 ludzi.
Wokół Ustronia operowało zgrupowanie „Jastrząb”, które operowało, którego największym pododdziałem była grupa „Czantoria” (częściowo rozbita w listopadzie 1943 roku, a następnie odtworzona wiosną 1944 roku). Liczące się zgrupowanie operowało w masywie Stożka (rozbite jesienią 1944 r.), a szczególnie Baraniej Góry oraz na południe od Istebnej. Grupy operujące wokół Istebnej na początku 1945 roku liczyć miały ok. 100 ludzi.
W Beskidzie Śląsko – Morawskim operowały dwa zgrupowania – wokół Koszarzysk (w masywach Kozubowej i Ostrego) – zgrupowanie „Nad Olzą”, którym dowodził Paweł Rusz, a wokół Rzeki (w masywach Goduli i Ropiczki oraz Jaworzyny) – zgrupowanie „Iskra” – „Brylaty”, którym to dowodził najpierw „Iskra” (NN), a następnie „Brylaty” (Karol Żmija z Rzeki). To ostatnie latem 1944 roku liczyć miało 30 ludzi, a do jesieni jego stan miał wzrosnąć przeszło dwukrotnie. Do tego u stóp Beskidu Śląsko - Morawskiego działał pluton partyzancki Józefa Kamińskiego – „Strzały”, liczący około 40 ludzi..
Jak podawał ppłk. Janke w oddziałach partyzanckich Okręgu latem 1944 roku służyło około 1.000 żołnierzy.
Ciekawym jest też porównanie strat oficerów / żołnierzy szeregowych w różnych okręgach Armii Krajowej wg poniższej tabeli;
Po rozwiązaniu Armii Krajowej w styczniu 1945 roku wiele oddziałów uprzednio w strukturach AK odrodziło się w ramach Narodowych Sił Zbrojnych jako reakcja na terror UB i NKWD, dążących do bezwzględnego objęcia władzy i obsadzenia administracji państwowej swoimi ludźmi. Wśród nich ugrupowanie Henryka Flamego „Bartka” działające na Podbeskidziu liczyło 300 żołnierzy. Jest to już jednak odrębna historia. Historia żołnierzy wyklętych.