trace linux kernel source - ARM - 01

gogojesse

昨天下載了linux-2.6.26的kernel source
3 e& [# @2 u- ?5 n. e打算trace一下 (以ARM為例子)
9 p6 m5 g. c/ j* [% ^- E2 K看看能不能多了解一下kernel booting時候的一些動作
一些文章提到是從/arch/arm/boot/bootp/init.S開始
% E0 S8 e3 p4 X所以節錄了一些下來

     19         .section .start,#alloc,#execinstr
9 Z7 z8 `  m. T  s4 u     20         .type   _start, #function
$ O( i" w% C5 G# I5 o" p# s     21         .globl  _start
- x& @, J. ?4 P6 v2 S7 u     22
     23 _start:     add lr, pc, #-0x8       @ lr = current load addr
' N5 d$ g% o6 u     24         adr r13, data
) D7 `; e7 q: V8 |. @. m/ B     25         ldmia   r13!, {r4-r6}       @ r5 = dest, r6 = length
     26         add r4, r4, lr      @ r4 = initrd_start + load addr
     27         bl  move            @ move the initrd
8 b3 ?) O6 g2 p  W! Z     .....
     76         .type   data,#object
& W0 x% q, _7 @9 n     77 data:       .word   initrd_start        @ source initrd address
     78         .word   initrd_phys     @ destination initrd address
0 \) _; y5 t+ ~- M' ^     79         .word   initrd_size     @ initrd size
     80
2 W/ |$ O: h+ q- D8 ~0 b
* f" ?$ |3 O# S: n4 Z" I  i3 ~line 19,宣告了叫做.start的section
- d3 v5 S. h$ M+ K: A2 H7 [line 20,21宣告了一個叫做_start的function
! C6 _' n( w" z% \6 r( V" ]. P程式碼似乎從line 23開始
# r. @  K; ?6 m( Eline 23, 『add lr, pc, #-0x8』
, R' r* }9 m  ]add就是將pc+(-0x8)的結果放到lr之中，pc和lr都是ARM裡頭暫存器
pc就是program counter，CPU用來指著目前要執行的指令，執行完CPU就會自動把PC+1
3 l7 l. h$ h/ \: c! b1 D這樣就會拿到下一道指令，lr通常是第14個register, r14，常被用來繼續function
9 O! J9 S  e/ A3 ]6 m" Zreturn時候的返回位置。奇怪的是為什麼要-0x8??
: Z8 I/ H$ C1 g! H: T  V$ M原因應該是ARM本身有pipeline的設計，prefetch->decode->execution，當指令被執行
的時候，其實已經預先去偷偷抓下一道，所以PC值不是真的指在目前執行的地方，三級
pipeline剛好多了兩個cycle所以4 bytes x 2必須要-8才是正在執行指令的位址。

line 24, 『adr r13, data』
; ]& v6 v+ R: u9 X- H8 @0 C+ fadr會去讀取data所在的位址當作值，寫道r13裡頭。r13通常是用來放stack pointer，
常縮寫成sp，所以現在r13就指到data所在的位置上去。

. D0 m% Q, R; ?% [line 25, 『ldmia   r13!, {r4-r6}』
7 h3 p& Q# I) Q# y0 h0 S$ Cldmia, load multiple increment after,顧名思義就是可以做很多次load的動作，每此
load完就把位址+1，執行完之後
r4 = initrd_start
2 ~% ^# b9 f7 A& T# R$ ~r5 = initrd_phys
r6 = initrd_size
" A' m$ f* A# v; X3 F
line 26, 『add r4, r4, lr』
r4 = r4+lr, lr是剛剛我們算過的，指到一開始執行指令的地方，看程式碼的解釋，被當
8 d0 @' ?$ y- V# s# F/ P) Z+ u成載入的位址，所以執行完 r4 = initrd_start+程式被載入的位置，用途不明，看看之
. K7 }( `. T9 v$ U! l後有沒有被用到。

line 27, 『bl  move』
bl, b是branch，相當於C語言goto的動作，l就是goto之前，先把目前位置存放到lr裡面，
+ b. S. f$ C! L" X# ]* T' I" _所以bl除了goto之外，也改寫了lr，應該是有利於等一下返回的時候，可以用lr的值。
" P) Q* E0 {% O
  j- [, U. _) r0 y5 Z以上，好像還沒開始什麼重點，有空再繼續，有想錯的地方或是需要補充的地方，多多指教~

gogojesse

剛剛發現一個大陸網站的blog貼了我的文章
但是沒表明出處 = =
還把標題改過，感覺像是他自己寫的
真是麻煩~
4 e! \( Y: V) [' X9 X; ]% G
! {# a2 i7 l) y已經好幾次這樣的經驗
/ _" R/ Q( P4 q1 l; w; q8 ~2 ]以前幫忙有弄網站也是這樣
抄襲得很嚴重
內地那邊到底有沒有在管啊!!

gogojesse

原帖由 jacky002 於 2008-8-9 07:44 AM 發表
好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

. C4 q& S5 J9 |$ I4 [( ?0 g
2 k- @$ L- k  n8 s( C+ s有些時候  東西是越陳越香啊~~
8 E. Y0 T: W! G, z...........

jacky002

好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

gogojesse

程式返回之後
/ O! t- K) B- A$ k1 t3 C我們接著看下一行

1.      33         ldmia   r13, {r5-r9}        @ get size and addr of initrd
   % \, E- V( [9 r' z2 d! s5 s) g
2.      34                         @ r5 = ATAG_CORE
   / H2 m, f( A* F5 Q' a1 H
3.      35                         @ r6 = ATAG_INITRD2
   
4.      36                         @ r7 = initrd start
   
5.      37                         @ r8 = initrd end
   " E, O+ K! \" V, k! _
6.      38                         @ r9 = param_struct address
     K0 o3 j. B7 N+ t. w
7.      39
   ! K6 J) T0 I+ N% C3 a. q- ?( \& M
8.      40         ldr r10, [r9, #4]       @ get first tag
   
9.      41         teq r10, r5         @ is it ATAG_CORE?

複製代碼

line 33, 繼續從r13的地方取出資料到r5, r6, r7 ,r8, r9，註解的說明有提到各個資料
1 Y. l$ w! c. E4 N" j7 _的意義，注意一下這邊的r7是initrd的destination address不是source address。

/ Q) l8 C: K. V% `8 D4 ^1 rline 40, 讀入第一個tag，這邊的tag是指bootloader丟給kernel的一個boot arguments，
會被用一個叫做ATAG的structure包起來，並且放到系統的某個地方。然後kernel跑init.S，
的時候就會去這個地方拿ATAG的資料，這些資訊包括記憶體要使用多大，螢幕的解析度多大等等。

* H, i3 Q  v; m6 h0 g9 \: Rline 41, t是test, eq是equal, 判斷拿到的第一個tag是不是等於atag core. 應該是看
atag list 是不是成立的。
& J9 O3 q# N* W7 ?4 i/ t; p' P4 T" ]
繼續接著看

1.      45         movne   r10, #0         @ terminator
   / U* R! W% j4 r5 n% _) F6 J' U# i
2.      46         movne   r4, #2          @ Size of this entry (2 words)
   
3.      47         stmneia r9, {r4, r5, r10}   @ Size, ATAG_CORE, terminator

複製代碼

發現45, 46, 47的指令都帶有condition "ne", not equal,表示是剛剛 line 41發現atag不成立
* u6 r* N; F! g  \0 e+ u3 n所做的事情，注釋是寫『If we didn't find a valid tag list, create a dummy ATAG_CORE entry.』
8 A0 Z8 x' S( v1 a+ w* F所以以上三行就是用來創造一個假的entry，假設一切順利這三行指令會bypass過去不會被執行到。

$ u, ^0 @" a0 _  N7 {% y6 u* `接著來看init.S最後一段程式碼 (終於~)

1.      54 taglist:    ldr r10, [r9, #0]       @ tag length
   ' i( z- w! F* j3 z" p- @3 b
2.      55         teq r10, #0         @ last tag (zero length)?
   4 L, k4 P6 J& t
3.      56         addne   r9, r9, r10, lsl #2
   # G. |8 E4 b/ D, g
4.      57         bne taglist
   " ]) o, Q+ C& k( Q" K! r& ~
5.      58
   
6.      59         mov r5, #4          @ Size of initrd tag (4 words)
   
7.      60         stmia   r9, {r5, r6, r7, r8, r10}
   
8.      61         b   kernel_start        @ call kernel

複製代碼

line 54, 將r9指到的位址的offset 0x0的值載入到r10。看註解是tag length，所以這邊得要去翻翻atag的規範
4 _- ^/ h% n9 h+ L" m4 M* ]* Q1 y這邊有個文章有提到 http://www.simtec.co.uk/products ... ooting_article.html ，一開
始應該是去讀atag_header所看第一個欄位，確認一下是size，應該沒問題。

1. struct atag_header {
   
2.         u32 size; /* legth of tag in words including this header */
   & o& B# r2 Z  h6 C" ~$ y3 R0 b6 O
3.         u32 tag;  /* tag value */
   
4. };

複製代碼

line 55,測試一下size是不是0。
8 R5 a" }% b* l/ ^7 C- _9 p% |' zline 56, 57也有condition ne,表示是不為0的時候做的。將拿到的length(r10)乘以4，這邊的lsl是將r10往
左shift的意思,因為一個欄位是4bytes，所以乘4之後就跳到下一個tag，一直跳到最後沒東西。
0 W. a5 s  e% {4 L( |; F% D
line 59, 將r5設成4
line 60, 將r5, r6, r7, r8 ,r10存到r9所指到的位置，應該就是跟在atag list的後面。
. n4 ~0 ~7 \" o6 v! ]; aline 61, jump 到 kernel_start ，注意這邊是用b而不是bl，因為跳過去kernel就不需要返回了。BL會用到
lr紀錄返回位置。

3 B" ?6 |( o* @以上，走過一整個init.S,接著會跳到./arch/arm/boot/compressed/head.S。
! v8 d7 B& n4 e/ C3 }/ V
kernel_start的定義方式跟initrd_start有點類似，中間有透過 kernel.S去用.incbin把kernel image包進來。

gogojesse

接著繼續看 init.S
4 @: y3 [; _" y0 n之前的code已經goto到move這邊來
所以貼一些move的程式碼

     66 move:       ldmia   r4!, {r7 - r10}     @ move 32-bytes at a time
     67         stmia   r5!, {r7 - r10}
( ]: ]* z6 L1 W/ l6 h3 p     68         ldmia   r4!, {r7 - r10}
     69         stmia   r5!, {r7 - r10}
     70         subs    r6, r6, #8 * 4
     71         bcs move
, H& t' {, U$ Q4 H     72         mov pc, lr

5 U3 p+ v) p& Z" kline 66, 將r4所指到的位置，分別將值讀出來放到r7, r8, r9, r10, 可以發現剛剛計算過的r4這邊被
用到了，但是為什麼r4不是用initrd_start，卻還要加上load addr??
5 V0 Q! |2 b' D, o9 j3 k1 Z原因應該是bootp.lds的14行『. = 0;』表示最後被link好的address會從0x0開始
所以 initrd_start 所記錄的位置可以當成是offset
2 @% [) Y& C* s加上load到DRAM或是擺在flash上的位址後
就剛好是initrd所在的地方
+ `' H. q. `9 \1 n) B9 ^
line 67, 『stmia   r5!, {r7 - r10}』
stmia, store multiple increment after, 和ldmia動作相同，只是用來寫資料。
r5是存放著initrd要擺放的位置
9 F% W( S4 X' Q0 h% P: U0 M8 q猜測應該是為了一開始image放在flash上，但是可以將initrd拷貝到DRAM上
" {; l" Y4 R6 I+ I. L* i; B* n, ?r7寫到r5指到的位置
5 [0 G( n+ j3 v7 y4 K" `+ P& w% w% |" E8 pr8->r5+1
- t- [4 Q, q$ x3 U, N: [r9->r5+2
r10->r5+3
* }, m" G0 V3 }: w所以我們發現，66,67行就是將r4所指的東西搬到r5。

) e9 L. q9 y0 E" qline 68, 69也是一樣copy了4x4bytes，一共是32bytes。
line 70,『subs    r6, r6, #8 * 4』，將length - 32bytes
line 71,『bcs move』，b是branch的意思，cs是表示condition的條件，要是條件符合的話，
- v( ?  [2 w8 c7 r就做branch的動作，這邊的用意是判斷前一個length是不是已經到0，如果不為零就繼續copy。
$ h# b' ]! B5 q9 z; G7 N& S6 ?, zline 72,『mov pc, lr』
( t# ]0 o" J! e. z. C! k接著就把剛剛bl指令預先存放好的lr 填入pc，這樣CPU就會跳回去原本的return address。
% C: |. B- e% t5 N% D4 v! [
以上的動作，慢慢看得出來有在做些什麼事
1. 找出initrd的所在位置
2. 將它copy到一個指定的destination去

gogojesse

上面的 code 裡面出現了一些還沒定義的symbol
2 O( Y, i" @; T, E例如 initrd_start, initrd_size等等
其實是被定義在另外一個檔 ./arch/arm/boot/bootp/initrd.S

' e- F. I7 d4 P! p* M! h$ l' c      1     .type   initrd_start,#object
$ C. I0 f5 y% b( V8 S0 [$ P* {      2     .globl  initrd_start
6 P+ K- \2 h( i1 K% Z' M      3 initrd_start:
      4     .incbin INITRD
+ c/ N1 z1 ?: p% K( L, T      5     .globl  initrd_end
( s. p$ Z  ~" [+ g8 d      6 initrd_end:
- v9 ^( Q+ ?8 g; d6 G& @
line 2, 3, 5, 6定義了兩個symbol initrd_start和initrd_end
/ S, P; V/ l9 o: K) X! b中間還用.incbin INITRD 將 ramdisk 的 image include進來
這邊有點複雜
假如compiler kernel的時候
9 f" \5 M1 y6 k+ _$ h4 B有選擇使用ramdisk當成boot device的話
會對從環境變數去設置 INITRD
% L. `8 ]9 e+ E* M這個檔名會被帶入到MAKEFILE
並且在做assembler動作的丟進來
, x! {' ^+ G% K# C假如沒有使用initrd
5 l+ t+ ?! e2 r) F$ T; G: I那就.incbin應該就包不到東西
, }" x( a: v# i6 w3 Rinitrd_start 和 initrd_end 就會相等

另外有個 script ./arch/arm/boot/bootp/bootp.lds
它規範了所有link起來的object code裡面的section要怎麼編排
$ m! m5 C  C4 E. t7 L2 U! [這樣撰寫kernel的時候
可以到特定的section取得想要的資料或是計算某個section的大小
6 e( a6 D0 h4 R  j
     10 OUTPUT_ARCH(arm)
0 u1 ~+ {! x, E/ \, O8 L7 p$ n, ~     11 ENTRY(_start)
1 E; r: P/ s4 [     12 SECTIONS
     13 {
+ g: \$ u: u8 y0 o     14   . = 0;
, s, ^2 z, T: W& _% R     15   .text : {
1 }" q( A( ?6 e) \8 E     16    _stext = .;
     17    *(.start)
( P( k3 }6 s" A2 |; x% l2 G- m     18    *(.text)
     19    initrd_size = initrd_end - initrd_start;
/ t7 _5 b2 x) L9 Y5 p5 S     20    _etext = .;
     21   }
$ h/ Z2 x# E: a- n6 Y     22
     23   .stab 0 : { *(.stab) }
  _, W9 L6 y" d- K     24   .stabstr 0 : { *(.stabstr) }
5 _( X+ k" x6 Z2 P4 `* J     25   .stab.excl 0 : { *(.stab.excl) }
     26   .stab.exclstr 0 : { *(.stab.exclstr) }
     27   .stab.index 0 : { *(.stab.index) }
$ x' B: q" d; r6 q     28   .stab.indexstr 0 : { *(.stab.indexstr) }
/ |4 X2 ~/ q  [& I) j" j     29   .comment 0 : { *(.comment) }
9 O# W( W  V$ }- v- Q# |) {     30 }

對於object file的格式不熟悉的話
可以參考ELF format的相關文件