trace linux kernel source - ARM - 02

gogojesse

開始跳進去head.S之前
先來看看bootloader
; N& p( j/ A" |1 Y. i. B( e當板子通電,最先被執行到的通常是bootloader
' w- N- w1 c! F$ z8 q  M; ~透過它才有機會去改變載入過程
8 }1 J' O( N+ L  k. @3 j% J* \例如更換這次使用的kernel image
或者是選擇要用tftp download image還是從flash上的某個image跑起來
) L  D3 E. I. T3 tkernel為了讓這個變數盡量單純
4 U0 _" K: D4 G; }因此linux也有限制bootloader必須在進入到kernel之前必須設置好的狀態
* W! ]+ h8 v' G
5 G* H9 q. D+ J* S# L# b1. r0 = 0
2. r1 = architecture ID
: u' b  n) [6 i$ r3. r2 = atag list
4. mmu off
5. I&D cache off

: x5 F" j% r( U$ n如此一來kernel就可以在已知的狀態去講好的暫存器拿資料，有了這個概念有助於看head.S。
我們首先來看一開始的程式碼進入點

1.     114 start:
   4 E2 D% {2 I$ E: B
2.     115         .type   start,#function
   - y3 _6 P9 n- F( F, t2 Z
3.     116         .rept   8
   
4.     117         mov r0, r0
     T) l+ z# D8 Z6 i/ c$ P) l) E
5.     118         .endr
   
6.     119
   + u' i# ^$ l+ Y3 n! w
7.     120         b   1f
   
8.     121         .word   0x016f2818      @ Magic numbers to help the loader
   # i$ u8 p" k) |% i* B
9.     122         .word   start           @ absolute load/run zImage address
   ( O4 G6 e$ q& Q9 a% r2 ~0 P
10.     123         .word   _edata          @ zImage end address
    
11.     124 1:      mov r7, r1          @ save architecture ID
    
12.     125         mov r8, r2          @ save atags pointer

複製代碼

line 116~118, rept = repeat, endr = end of repeat, 意思是將move r0, r0的程式碼
重複八次，也就是說build成kernel image的時候這邊一開始的code會有8個指令都在作
2 ]0 Z. h& l+ n8 s, _3 A+ f『move r0, r0』的事情，很怪!!還看不出是做什麼的。可能之後會看到如何被運用。
* b6 k0 J7 K* V6 n(有些文章寫說是作出中斷向量表的空間，我們這邊先不預先作猜測~)
, m% ~/ {% u6 c/ }6 Q" a  w3 A) Z
1 [4 f0 e% c' x) o0 xline 120, branch到1的地方，f是指forward的方式找branch。

line 124, 125, 分別將r1, r2的資料丟到r7, r8存起來，回想兩件事情。
* T+ J4 Q: K# W9 w2 p$ n1. init.S執行的過程中，始終沒有用到r1, r2，那r1, r2的資料到底放著什麼東西。
- y( @; E3 ~' S+ I2 ^$ `4 r2. 一開始我們提到，bootloader會預先設定好狀態才跳到kernel，原來!!
r1, r2就是bootloader準備好的。  
% H9 p5 Y' i9 i& [5 \* a/ {
, O; o' O1 ?# T& s這讓我想到一個問題，假設我們不想跑bootloader，是不是可以寫一小段程式碼，直接將
3 F! n7 Z& Y" ~2 i2 B狀態設置好，就直接進入linux kernel呢??

7 j7 f" b0 t9 e# A6 Q- y2 Wline 121~123, 純粹將一些資訊記住，.start就是 kernel 起始位置，這邊看起來是
忽略掉init.S和initrd.S佔去的位置，直接將.start這個section當成kernel image的開始起點。

接著繼續往下看(我們預設arch已經超過v2，現在應該大多是v4以上)

1. 133         mrs r2, cpsr        @ get current mode
   
2.     134         tst r2, #3          @ not user?
   ( j: k0 u0 G- k" ^  v
3.     135         bne not_angel
   
4.     136         mov r0, #0x17       @ angel_SWIreason_EnterSVC
   6 ~' _6 ^! n* i( D
5.     137         swi 0x123456        @ angel_SWI_ARM
   
6.     138 not_angel:
   
7.     139         mrs r2, cpsr        @ turn off interrupts to
   
8.     140         orr r2, r2, #0xc0       @ prevent angel from running
   
9.     141         msr cpsr_c, r2
   
10.    

複製代碼

line 133, mrs 是特殊用來讀取cpsr和spsr暫存器裡頭紀錄processor模式值的指令，這兩個reg是
用來控制和表示processor目前狀態的。
1ine 134, tst = test, 看看r2是不是等於3。
5 [) J+ ^/ \$ ~5 C  c7 tline 135, r2不等於3的話就跳到 not_angel 這個地方開始執行，記得以前有個angelboot可以用
& K& o/ Q! M$ U, F) ^來boot armlinux，應該是angelboot會特別跑在3這個mode。
& a3 S: H% b- h# j/ G& ]) oline 136, 137, 用來觸發angelboot裡頭的swi的function，作用應該是要切回去SVC mode。SVC mode
& X4 @, F8 B, G1 Y7 j# A; Y是一開始ARM processor預設執行模式。
* k0 \, A. p4 R! r" k2 j
  ?7 P1 c2 `, [" f0 A5 Oline 139~141, 用來關掉interrupt，避免被中斷booting的過程。(因為複雜一點的bootloader通
1 P; X1 _9 L+ [$ x4 m3 J1 R常會已經support很多driver，中斷也很頻繁。

jacky002

補充資料 - ARCH: ARM11 -> v5
5 u8 W+ O  x; @( U. W( d) T可參考
http://tech.digitimes.com.tw/pri ... FE2482571DD006E9DC5

" j2 S7 Y/ G2 o9 v' X, P建議可在加上UBoot or Redboot的部分，應該可以造福更多初學者。

gogojesse

原帖由 jacky002 於 2008-8-9 07:40 AM 發表
建議可在加上UBoot or Redboot的部分，應該可以造福更多初學者。

$ ]2 o3 ?9 T7 N! T( @3 d
1 h; ]( U+ X# g  J5 v+ v; l0 R看完kernel應該會花上一些時間
看看有沒有哪位大大要認領
開一篇bootloader的文章   
* M- V+ W/ ^& h; A* y! S: V
- p6 W, C# E2 M7 g另外，有人要trace x86 or MIPS的架構應該也不錯
這樣主要的幾種processor都可以搞定
這樣要跨平台  跳槽也容易許多

gogojesse

程式繼續往下跑
這邊插點符號跳過文繞圖
% M& w3 U1 J9 w) m6 q& N.
.
.
.
2 q  D% r& Z* ?1 ^, E( z.
4 t2 O' r  C2 ?4 |$ ?1 }.
8 ~/ X7 k- k) P$ K! w.
.
, [( f' k: l5 K# f.
.

1. 157         adr r0, LC0
   7 |# D. Z9 l! }9 l5 i4 a
2.     158         ldmia   r0, {r1, r2, r3, r4, r5, r6, ip, sp}
   ) _9 u' c! V3 Q* s8 C
3.     159         subs    r0, r0, r1      @ calculate the delta offset
   $ E, K, V( _2 i- {0 t$ b$ S5 u( u9 V
4.     160
   
5.     161                         @ if delta is zero, we are
   2 T* t3 t4 W7 D$ y
6.     162         beq not_relocated       @ running at the address we
   
7.     163                         @ were linked at.

複製代碼

1.     288         .type   LC0, #object
   
2.     289 LC0:        .word   LC0         @ r1
   * @# ], N6 O$ W2 ^0 W+ ]; {
3.     290         .word   __bss_start     @ r2
   0 r' [: w* n/ W" R! r- L
4.     291         .word   _end            @ r3
   ; }6 M( u2 a& k6 ], m( A& a% d
5.     292         .word   zreladdr        @ r4
   
6.     293         .word   _start          @ r5
   
7.     294         .word   _got_start      @ r6
   
8.     295         .word   _got_end        @ ip
   
9.     296         .word   user_stack+4096     @ sp
   
10.     297 LC1:        .word   reloc_end - reloc_start
    ; J$ T) p: n' S6 k
11.     298         .size   LC0, . - LC0

複製代碼

line 157, 將LC0的位址當作值放到r0。
' z- l6 Z4 C% v) U$ Mline 158, 從r0指到的位址開始，將值依序讀到r1, r2, r3, r4, r5, r6, ip, sp, 其中 ip=r12, sp=r13
3 \! z, e7 ?6 f( vline 159, 將r0-r1，這邊的意思是說r0是真正被載入到記憶體上的address,r1是被compile完就已經決定好的位
址(也就是line 289中LC0這個symbole的address)，兩個相減，剛好可以算出『compile好』跟『被load到位址』
8 D7 N# b; M9 ^$ x. l. z* ]( {7 }之間的offset，這樣做有什麼意義? 繼續往下看。
) G8 s' B: l( @$ ]$ Z& x
$ i3 r" B# f8 p4 {1 W: mline 162, 如果相減等於0，表示載入的位址和complie好的位址是一樣的，那程式碼就可以被直接執行，要是不為0
的話，表示compile本來以為這些執行碼會被放到 r1 的位址，可是卻被放到r0的位址去，這樣一來，有一些預先compile好的程式碼，可以會找不到一些symbol的所在位置，因為整個image被load到不對的offset的地方。那...
5 o3 A) q& P; U8 i# r6 t1 i: Q6 x怎麼辦勒??
. v; D7 I: `3 {. H+ v5 ^
往下看

1.     172         add r5, r5, r0
   4 {2 e& Y: A2 N2 i0 h
2.     173         add r6, r6, r0
   & C  j; l+ N/ O
3.     174         add ip, ip, r0
   
4. 
   
5. 202 1:      ldr r1, [r6, #0]        @ relocate entries in the GOT
   
6.     203         cmp r1, r2          @ entry < bss_start ||
   1 L; ]3 i4 x/ T  N/ Q3 ~' l
7.     204         cmphs   r3, r1          @ _end < entry
   
8.     205         addlo   r1, r1, r0      @ table.  This fixes up the
   ( J: X4 O7 p* b3 j3 C( z! {
9.     206         str r1, [r6], #4        @ C references.
   7 `! Z: o* [5 r/ v! A
10.     207         cmp r6, ip
    
11.     208         blo 1b

複製代碼

line 172~174, 將r0這個offset，加到r5, r6, ip,也就是r5=zImage base address, r6=GOT start, ip=GOT end. GOT全名是global offset table, 它是ELF format執行檔裡面用來放一些和位址無關的code的地方。詳細的東西可以參照http://www.itee.uq.edu.au/~emmerik/elf.html。總之，可以看得出來我們將一些位址加上
了offset，很明顯的是因為我們載入的位置跟原本執行碼所預期的位址不同，因此必須做一些relocate的動作，若是不
/ b6 a( Q7 c8 y4 G做的話，很可能程式碼會拿到不對的資料，我是jump到錯誤的地方執行。

line 202~208, r1指向GOT table start，在沒有寫錯到bss區塊的情況下，將GOT裡面的資料都作relocate的動作。
) E% k) K' P; G% @  D& Sline 203, 204,應該是用來避免r1只到bss區塊。關於BSS也必須參考ELF format的東西, BSS是用來放置，未經初始
6 c2 @) H* }6 [2 `化的變數的地方。

以上，我們發現kernel意識到自己被載入到某個地方，並且查看被載入到的地方是不是和compile
time決定一樣，不一樣的話，自己手動修改一些需要做offset的資訊，等於是手動作relocate的事情。

gogojesse

放了兩天假出去happy  
接著繼續trace

1.     211 not_relocated:  mov r0, #0
   " [2 H7 N- g" A' C
2.     212 1:      str r0, [r2], #4        @ clear bss
   - |" ~( r& N7 w) E% F
3.     213         str r0, [r2], #4
   : E5 i$ n, `' E# _) o
4.     214         str r0, [r2], #4
   $ B3 D6 |8 J+ _) s8 z
5.     215         str r0, [r2], #4
   : |* d- u* G& Y. H: r
6.     216         cmp r2, r3
   
7.     217         blo 1b
   
8.     218
   
9.     224         bl  cache_on

複製代碼

恢復記憶一下，上次trace到kernel做了一些判斷，如果被載入的位址和compile time決定的位址不同，就會
4 K2 j1 G* S+ z' M) U7 k+ R自己做relocate的動作，將一些ELF binary的特定pointer和value加上offset。那做完初步的relocate之後要做什麼?

line 212~215, 都是做store的動作，把r0存到r2所指到的位址，做完之後r2=r2+4。r2= bss start的位址.
換句話說，開始將bss裡頭的值都初始化成0。
lin3 216, 217, 確認一下是不是到了bss的底部,不到底部的話，jump到line 212繼續做搬移的動作。

# P. G9 D9 m# B% f2 ^line 224, 做完bss初始化，jump cache_on

1.     328 cache_on:   mov r3, #8          @ cache_on function
   
2.     329         b   call_cache_fn
   
3. 
   4 M# m! Y2 ]- G' C1 r
4.     537 call_cache_fn:  adr r12, proc_types
   / c% _2 }% F3 N, n: a; q) L0 G
5.     539         mrc p15, 0, r6, c0, c0  @ get processor ID
   
6. 
   , I3 p; R4 M" n% x% d8 h
7.     543 1:      ldr r1, [r12, #0]       @ get value
   
8.     544         ldr r2, [r12, #4]       @ get mask
   " [; W8 b/ g- O- {
9.     545         eor r1, r1, r6      @ (real ^ match)
   ' i( }$ l, B4 F$ i' y4 l
10.     546         tst r1, r2          @       & mask
    " |: C" J+ w2 V- }6 V. [+ ]& B6 F. m# \
11.     547         addeq   pc, r12, r3     @ call cache function
    6 |2 M0 t# H7 M  D9 ]: V
12.     548         add r12, r12, #4*5
    7 I! w. ~$ s$ q% T: h
13.     549         b   1b

複製代碼

line 328, 將r3填入8, 不知道r3會拿做什麼用，繼續看。
line 329, jump到call_cache_fn。
3 F9 O; C: C5 a, bline 537, 將proc_types的位址讀到r12。
line 539, 將coprocessor裡頭的CPU id讀出來放到r6
6 o4 G' u' S& A6 w: Hline 543, 544, 將r12所指到的第一個位址的資料放到r1, offset 4bytes的資料放到r2，我們可以先觀
察一下proc_types的長相(如下)，註解上面寫了很多arm的家族的名稱，例如arm 6, armv5te等等，而且不
! n$ u. T4 V9 Z$ ?$ }難發現都是先兩個.word，然後跟著三個『b xxxx_cache_xxx』，感覺很像是一組一組的資料。
& S! g9 r5 j5 r7 hline 545, 546, 將r6裡頭的CPU ID和讀出來的r1做exclusive OR，並且取mask，看看是否相等，相等的
話，就將pc設定r12+r3。換句話說，就是用CPU ID去確認值是否相等，值相等的話，就jump到r12+r3的位址。
line 548, 549, 不相等的話，就把r12加上5x4byte的offset跳回去繼續找。
整理一下，這邊的程式碼就是去proc_types的地方，比對CPU ID，比對成功的話，就呼叫該筆資料裡面的
cache function，至於呼叫第幾個function，就由r3控制，那所有CPU對應到的data structure就
從proc_types開始。
, h# R4 x! a: B+ ?
( D* q% K: M. j6 B. {" D7 J. a! q2 ^1 p以ARMv5TE來說，r3=8，就剛好是cache_on的function。所以我們知道如果我自己發明了一個新的ARM CPU，也弄了一個新的id，這邊就需要修改出相對應的CPU的infomation，不然可能會找不到CPU ID。

1.     566 proc_types:
   
2.     567         .word   0x41560600      @ ARM6/610
   
3.     568         .word   0xffffffe0
   - u' L) ?+ ~' ~
4.     569         b   __arm6_mmu_cache_off    @ works, but slow
   $ Q! j8 y4 I9 X: l. `, }
5.     570         b   __arm6_mmu_cache_off
   
6.     571         mov pc, lr
   
7.     ......
   ; C7 V; g5 [- t$ I
8.     640         .word   0x00050000      @ ARMv5TE
   ' J& G2 e4 _/ e. e/ R$ G
9.     641         .word   0x000f0000
   4 U8 m7 [9 R7 d0 ?2 F2 o5 f
10.     642         b   __armv4_mmu_cache_on
    
11.     643         b   __armv4_mmu_cache_off
    
12.     644         b   __armv4_mmu_cache_flush

複製代碼

到這邊我們，找到了CPU對應的cache on的function，必且要準備呼叫它。

rogerho

很棒的分析....讓我能有機會可以瞭解bootloader的一些流程.............感謝

gogojesse

很棒的分析....讓我能有機會可以瞭解bootloader的一些流程.............感謝

: l5 X- ?# n& j, L! ~, G* e謝謝  
2 J3 m3 Z1 {6 l最近突然忙起來
改天有空再繼續study....
" y5 w) W8 n5 x9 T5 \. }- f# S- y
( E) F! n+ i$ m/ k( Z; ?* e另外，這篇是kernel booting的過程的程式碼，應該不能稱呼bootloader，不過
有些概念跟bootloader差不多，可以幫助閱讀bootloader的code就是。  

gogojesse

忙了好一陣子∼
4 a8 @: d7 `5 F5 A" n之前trace到 ./arch/arm/boot/compressed/head.S的 line 224
呼叫了cache_on之後就沒寫了
: }6 Z) b7 k; m- K+ h  A0 h現在接著開始
0 {4 P! b, a8 x2 {! v' z
首先我們偷看一下code，
1 ^( ], e" k7 R) y& Rline 226, 將sp的值放到r1。
line 227 將sp的值加上0x10000放到sp。
* c  J. c1 r$ C8 o' s
為什麼kernel之前花了一些功夫將自己relocate到某個位置之後，要把cache打開，然後要開始對stack pointer(sp)做動作？目前還看不出來，所以接著trace下去。

line 238，比較r4和r2的值，r4的值從line 158載入之後就一直沒被用到過，這個值是從一些makefile或是被makefile include進來的，然後在linking time的時候會被帶入，每個平台不一定一樣，通常你可到./arch/arm/mach-xxx/Makefile.boot去設定，這個值是用來指定kernel應該要被load到哪個位址上面執行。以omap1來說，
" n" z) E# f3 nzreladdr-y       := 0x10008000
  K. r: F  F! z4 h7 h( w; Z0 h就是表示kernel會被載入到 0x10008000 的地方。這邊將r2和r4比較的用意是看看sp+0x10000之後會不會超過zreladdr的位置，應該是怕stack爆掉了會蓋到kernel的地方。(記住我們現在的kernel其實還在壓縮狀態，zreladdr是指解壓縮完要開始執行的狀態。）

line238~line243, 比較了r4和r2，假如不會蓋到，就會跳到wont_overwrite去執行，假如會蓋到，就看目前sp到之後解壓縮image位址之間的距離有沒有比image四倍的大小來得大，假如有，表示空間還夠用，還是可以跳去wont_overwrite去，假如不到四倍大，就跑到line 262去把kernel搬到遠一點的地方，試看看能不能正常boot起來，line262先不做解釋，一般來說位址設錯的話，這邊的correction失敗的機率還是很大，著眼在correction的意義不大。所以我們就直接跳去wont_overwrite吧！

1.     226         mov r1, sp          @ malloc space above stack
   
2.     227         add r2, sp, #0x10000    @ 64k max
   
3. 
   5 j; {8 f! C9 ]# V! t: l! o( h: J
4.     238         cmp r4, r2
   9 Q: e! e, X  h( r4 a3 S" s# f
5.     239         bhs wont_overwrite
   
6.     240         sub r3, sp, r5      @ > compressed kernel size
   ! l$ X3 O' R6 c! f" A
7.     241         add r0, r4, r3, lsl #2  @ allow for 4x expansion
   
8.     242         cmp r0, r5
   
9.     243         bls wont_overwrite
   
10.     244
    
11.     245         mov r5, r2          @ decompress after malloc space
    
12.     246         mov r0, r5
    
13.     247         mov r3, r7
    
14.     248         bl  decompress_kernel
    
15.     249
    5 X$ a$ v' h) L) f
16.     250         add r0, r0, #127 + 128  @ alignment + stack
    - m5 y1 {) o! A& P  X2 r0 }8 L% z. b
17.     251         bic r0, r0, #127        @ align the kernel length

複製代碼

跳到wont_overwrite之後，當然就是要開始把kernel解壓縮，
line 283,把r4搬到r0,r4就是我們剛剛說的kernel被解壓縮之後的位址。（也就是解完之後應該要執行的位置）
line 284,把r7搬到r3,r7從一開始讀進來之後，也沒用過，理論上是architecture ID。
line 285,是跳到decompress_kernel，這邊我們發現decompress_kernel是被定義在misc.c檔，所以這是第一次從assembly code跳到c code的地方。這樣一來我們就知道原來剛剛要把cache打開和設定好sp的用意，原來就是為了要執行c code，因為c的程式碼有固定的執行方式，會需要用到sp，這部份可以參考『procedure call standard for the ARM architecture』，這也是r4和r7被搬到r0, r3的原因，因為r0~r3是用來傳遞C function的參數用的，r0就是arg0, r1=arg1, etc.

1.     283 wont_overwrite: mov r0, r4
   * b* ^- N4 s6 E2 d! ]. G
2.     284         mov r3, r7
   
3.     285         bl  decompress_kernel
   0 V6 o5 G, u, X/ S! s1 r
4.     286         b   call_kernel

複製代碼

偷看misc.c

1. 346 decompress_kernel(ulg output_start, ulg free_mem_ptr_p, ulg free_mem_ptr, int arch_id)

複製代碼

果然r0~r3就是的參數。

gogojesse

由於解壓縮不是我們的重點
沒有trace
' A+ B; u# G) \/ ?( k0 l: D假設一切都順利
( C- x* Q& [- y0 M3 C/ o% Rdecompress_kernel結束後
0 q. h  W3 ^+ h' N5 Z9 S我們就得到一個解壓縮完的kernel放在r4指向的位置
line 286,會jump到call_kernel，如下:
- u8 ^2 o1 {8 f. N" Uline 516, flush cache
: k# N! D1 b2 x- h! a/ Q4 b" Iline 517, 關掉 cache
7 |( O( o" c* f" w5 x4 Lline 518~520,將r0, r1, r2分別填值。
: I( v6 l1 w/ R! cline 521,將program counter指到r4，也就是解壓縮的kernel的一開頭。
: R7 R% l9 s0 w% G
9 h' F- W5 J4 H- X& L到這邊我們終於結束head.S的工作，解壓縮並且跳到另外一個object code的開始。跳到解壓縮的開始位置，究竟會進入哪一個function？

1.     516 call_kernel:    bl  cache_clean_flush
   
2.     517         bl  cache_off
   
3.     518         mov r0, #0          @ must be zero
   " Y0 y' e6 M! w! f1 s/ y1 m
4.     519         mov r1, r7          @ restore architecture number
   
5.     520         mov r2, r8          @ restore atags pointer
   8 A+ \1 z7 ?5 K$ T6 p
6.     521         mov pc, r4          @ call kernel

複製代碼

kkbbs

很棒的分析....
9 k9 p) {7 U# C" N) D非常據有參考價值
/ y* p; Z0 Z3 U3 z* Q8 w! }感謝大大分享    感恩

gogojesse

原帖由 kkbbs 於 2008-10-11 10:39 PM 發表
% F1 I! q' d5 ^很棒的分析....
, b2 g! p5 _8 T1 Q5 _2 _/ @& ~非常據有參考價值
感謝大大分享    感恩

謝謝  
有哪邊寫錯或是有怪怪的地方
歡迎提出來一起想想...