trace linux kernel source - ARM - 01

gogojesse

昨天下載了linux-2.6.26的kernel source
打算trace一下 (以ARM為例子)
0 l/ C0 u8 }$ i- x看看能不能多了解一下kernel booting時候的一些動作
2 U! D; m9 ?  P2 {% p8 S一些文章提到是從/arch/arm/boot/bootp/init.S開始
7 n! [; P9 \: ~6 Z( n/ E所以節錄了一些下來

     19         .section .start,#alloc,#execinstr
8 U1 }; D7 t- d+ F2 ?     20         .type   _start, #function
5 m. D* f8 q% p5 W! e3 G     21         .globl  _start
     22
     23 _start:     add lr, pc, #-0x8       @ lr = current load addr
     24         adr r13, data
     25         ldmia   r13!, {r4-r6}       @ r5 = dest, r6 = length
     26         add r4, r4, lr      @ r4 = initrd_start + load addr
* G/ |, u$ ~' Z4 ^  X( E  ]     27         bl  move            @ move the initrd
4 n( X! J. ~% J/ U# `1 b0 E# x     .....
. v0 u  q& [( G, A/ d- _( Y& J     76         .type   data,#object
) h+ o5 ~9 m, W1 S- P     77 data:       .word   initrd_start        @ source initrd address
     78         .word   initrd_phys     @ destination initrd address
     79         .word   initrd_size     @ initrd size
     80
8 W4 H8 h& C* f+ Y. M7 b5 u& d0 \( T# p
- ]3 @  w! g. F" G! Jline 19,宣告了叫做.start的section
line 20,21宣告了一個叫做_start的function
程式碼似乎從line 23開始
line 23, 『add lr, pc, #-0x8』
add就是將pc+(-0x8)的結果放到lr之中，pc和lr都是ARM裡頭暫存器
pc就是program counter，CPU用來指著目前要執行的指令，執行完CPU就會自動把PC+1
: k3 F8 h% W4 Z+ R5 z這樣就會拿到下一道指令，lr通常是第14個register, r14，常被用來繼續function
return時候的返回位置。奇怪的是為什麼要-0x8??
. P2 ~7 s: ^; r! T原因應該是ARM本身有pipeline的設計，prefetch->decode->execution，當指令被執行
: L/ i7 Y" |! p* X5 U的時候，其實已經預先去偷偷抓下一道，所以PC值不是真的指在目前執行的地方，三級
9 S% n% B  h" R! U, U! vpipeline剛好多了兩個cycle所以4 bytes x 2必須要-8才是正在執行指令的位址。
4 q  {6 s1 j9 e1 C, D$ j3 |, J$ h
line 24, 『adr r13, data』
7 J9 f7 R6 v: m; `  u! x' Iadr會去讀取data所在的位址當作值，寫道r13裡頭。r13通常是用來放stack pointer，
1 e3 [! m8 ]$ \2 G6 s/ b" `常縮寫成sp，所以現在r13就指到data所在的位置上去。

line 25, 『ldmia   r13!, {r4-r6}』
' ~( w# k) T- }! L7 kldmia, load multiple increment after,顧名思義就是可以做很多次load的動作，每此
load完就把位址+1，執行完之後
r4 = initrd_start
' d8 q! ?0 [& ^$ @/ zr5 = initrd_phys
/ M8 q* G/ C! U" ~# r' D0 N# ur6 = initrd_size
6 y3 ?3 A4 D* C% j
line 26, 『add r4, r4, lr』
$ z1 u( h- |" I+ R8 I& s( j, M, Vr4 = r4+lr, lr是剛剛我們算過的，指到一開始執行指令的地方，看程式碼的解釋，被當
: w& a8 q" M4 R9 P成載入的位址，所以執行完 r4 = initrd_start+程式被載入的位置，用途不明，看看之
* n% X7 c2 V  f9 f% }: p, T# ]$ f# C後有沒有被用到。

line 27, 『bl  move』
bl, b是branch，相當於C語言goto的動作，l就是goto之前，先把目前位置存放到lr裡面，
所以bl除了goto之外，也改寫了lr，應該是有利於等一下返回的時候，可以用lr的值。

以上，好像還沒開始什麼重點，有空再繼續，有想錯的地方或是需要補充的地方，多多指教~

gogojesse

剛剛發現一個大陸網站的blog貼了我的文章
. B" T* C' T1 p% v& N  o但是沒表明出處 = =
  N& ~- O( q& O3 ?7 O$ q1 m還把標題改過，感覺像是他自己寫的
真是麻煩~

已經好幾次這樣的經驗
4 n7 X* l/ P2 l以前幫忙有弄網站也是這樣
2 \, s8 X4 ^4 y抄襲得很嚴重
內地那邊到底有沒有在管啊!!

gogojesse

原帖由 jacky002 於 2008-8-9 07:44 AM 發表
: N3 c; {$ I9 O1 s好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

' O# p! v( S- i: ~) E8 o/ T

- N+ a+ e% G% b: p6 b有些時候  東西是越陳越香啊~~
; g, C3 b* M# d, g7 Z0 K% @...........

jacky002

好一段時間沒有碰程式了，看到你的分析讓我想起年輕時候的我 ~~~~ 還是不要透漏年齡

gogojesse

程式返回之後
+ H( r: F2 j, C% f7 O) \我們接著看下一行

1.      33         ldmia   r13, {r5-r9}        @ get size and addr of initrd
   3 ?" |) R( @0 ^7 z6 c
2.      34                         @ r5 = ATAG_CORE
   
3.      35                         @ r6 = ATAG_INITRD2
   . {, h+ V3 K1 ]$ e- f7 k. A
4.      36                         @ r7 = initrd start
   # Z0 V( d7 h3 ]
5.      37                         @ r8 = initrd end
     [. x& R' j) U9 r
6.      38                         @ r9 = param_struct address
   
7.      39
   
8.      40         ldr r10, [r9, #4]       @ get first tag
   # Q# W5 o; ~' |( \
9.      41         teq r10, r5         @ is it ATAG_CORE?

複製代碼

line 33, 繼續從r13的地方取出資料到r5, r6, r7 ,r8, r9，註解的說明有提到各個資料
4 X1 ~# V2 K+ N( d; W1 T* p, `- t的意義，注意一下這邊的r7是initrd的destination address不是source address。

line 40, 讀入第一個tag，這邊的tag是指bootloader丟給kernel的一個boot arguments，
! l1 K: ?. z; D+ q9 P4 C會被用一個叫做ATAG的structure包起來，並且放到系統的某個地方。然後kernel跑init.S，
的時候就會去這個地方拿ATAG的資料，這些資訊包括記憶體要使用多大，螢幕的解析度多大等等。
4 Y. J3 l3 p! E1 ?+ i: L
line 41, t是test, eq是equal, 判斷拿到的第一個tag是不是等於atag core. 應該是看
3 z' C/ s% |5 V( Z7 ^7 H2 v- katag list 是不是成立的。

. n9 M! m( g- w( u4 b繼續接著看

1.      45         movne   r10, #0         @ terminator
   
2.      46         movne   r4, #2          @ Size of this entry (2 words)
   
3.      47         stmneia r9, {r4, r5, r10}   @ Size, ATAG_CORE, terminator

複製代碼

發現45, 46, 47的指令都帶有condition "ne", not equal,表示是剛剛 line 41發現atag不成立
6 F& [" {6 r. v) u* y, A* u& s所做的事情，注釋是寫『If we didn't find a valid tag list, create a dummy ATAG_CORE entry.』
所以以上三行就是用來創造一個假的entry，假設一切順利這三行指令會bypass過去不會被執行到。

+ Q/ v5 T% z1 X+ w接著來看init.S最後一段程式碼 (終於~)

1.      54 taglist:    ldr r10, [r9, #0]       @ tag length
   
2.      55         teq r10, #0         @ last tag (zero length)?
   & B/ ^& Y  `- B9 D* Q% \$ |
3.      56         addne   r9, r9, r10, lsl #2
   7 b7 U8 A( H  d! K0 n8 v. @' N
4.      57         bne taglist
   , A0 N' O0 _8 s# k
5.      58
   . J8 O7 k8 b% j0 B( ~8 J
6.      59         mov r5, #4          @ Size of initrd tag (4 words)
   
7.      60         stmia   r9, {r5, r6, r7, r8, r10}
   6 t7 v/ r7 f5 D0 w% K
8.      61         b   kernel_start        @ call kernel

複製代碼

line 54, 將r9指到的位址的offset 0x0的值載入到r10。看註解是tag length，所以這邊得要去翻翻atag的規範
這邊有個文章有提到 http://www.simtec.co.uk/products ... ooting_article.html ，一開
始應該是去讀atag_header所看第一個欄位，確認一下是size，應該沒問題。

1. struct atag_header {
   # W1 t0 }% k* Q; B( x/ {1 d6 `1 n$ t
2.         u32 size; /* legth of tag in words including this header */
   * E8 @# o" I/ Q! B
3.         u32 tag;  /* tag value */
   
4. };

複製代碼

line 55,測試一下size是不是0。
9 _& ]8 i, F5 u0 \3 c. Lline 56, 57也有condition ne,表示是不為0的時候做的。將拿到的length(r10)乘以4，這邊的lsl是將r10往
左shift的意思,因為一個欄位是4bytes，所以乘4之後就跳到下一個tag，一直跳到最後沒東西。
7 D- l& Q3 i% \) c
line 59, 將r5設成4
line 60, 將r5, r6, r7, r8 ,r10存到r9所指到的位置，應該就是跟在atag list的後面。
line 61, jump 到 kernel_start ，注意這邊是用b而不是bl，因為跳過去kernel就不需要返回了。BL會用到
lr紀錄返回位置。

- U* ^! Q# R4 j5 F7 E/ }以上，走過一整個init.S,接著會跳到./arch/arm/boot/compressed/head.S。
, T+ U4 r$ ~: s, c) z4 y5 w
kernel_start的定義方式跟initrd_start有點類似，中間有透過 kernel.S去用.incbin把kernel image包進來。

gogojesse

接著繼續看 init.S
之前的code已經goto到move這邊來
所以貼一些move的程式碼

     66 move:       ldmia   r4!, {r7 - r10}     @ move 32-bytes at a time
     67         stmia   r5!, {r7 - r10}
     68         ldmia   r4!, {r7 - r10}
     69         stmia   r5!, {r7 - r10}
' ~7 f% E5 h5 U: L) O6 M& Y& ^  M3 p     70         subs    r6, r6, #8 * 4
     71         bcs move
     72         mov pc, lr
0 V! w3 u3 h; O) s- w: [' X$ f
line 66, 將r4所指到的位置，分別將值讀出來放到r7, r8, r9, r10, 可以發現剛剛計算過的r4這邊被
. S2 v1 h) Z) Y; g7 x用到了，但是為什麼r4不是用initrd_start，卻還要加上load addr??
原因應該是bootp.lds的14行『. = 0;』表示最後被link好的address會從0x0開始
所以 initrd_start 所記錄的位置可以當成是offset
0 Z& m; z" X! ]( Q8 `9 X加上load到DRAM或是擺在flash上的位址後
就剛好是initrd所在的地方

, N; z. g) G3 j3 ~/ t8 Q* \line 67, 『stmia   r5!, {r7 - r10}』
stmia, store multiple increment after, 和ldmia動作相同，只是用來寫資料。
r5是存放著initrd要擺放的位置
猜測應該是為了一開始image放在flash上，但是可以將initrd拷貝到DRAM上
$ l- `" f+ Q9 `$ n& Jr7寫到r5指到的位置
r8->r5+1
" x; Q5 q, G1 v2 x' W. m( J$ Rr9->r5+2
" Z& _4 E3 ^/ ?7 S! s6 C( O2 U$ Br10->r5+3
- k# _: k4 x  S所以我們發現，66,67行就是將r4所指的東西搬到r5。
" i( O3 b! z* \5 u7 B
% j, c% ]3 U" r* P+ Z8 yline 68, 69也是一樣copy了4x4bytes，一共是32bytes。
; S/ K) q& p( u. a9 C" u* oline 70,『subs    r6, r6, #8 * 4』，將length - 32bytes
line 71,『bcs move』，b是branch的意思，cs是表示condition的條件，要是條件符合的話，
; f8 H! x5 w6 i7 O5 {& u3 I. m3 I就做branch的動作，這邊的用意是判斷前一個length是不是已經到0，如果不為零就繼續copy。
8 W8 K  E6 S( H+ c0 Uline 72,『mov pc, lr』
接著就把剛剛bl指令預先存放好的lr 填入pc，這樣CPU就會跳回去原本的return address。
9 f) Z. [1 _6 e; X4 u
* @, U, ~3 E( B+ k! d8 s以上的動作，慢慢看得出來有在做些什麼事
1. 找出initrd的所在位置
7 H. q& ?2 Z' i* P+ G; e0 \6 L2. 將它copy到一個指定的destination去

gogojesse

上面的 code 裡面出現了一些還沒定義的symbol
例如 initrd_start, initrd_size等等
. {) F- D+ \: W其實是被定義在另外一個檔 ./arch/arm/boot/bootp/initrd.S
7 Y, _5 O: o9 m2 c
      1     .type   initrd_start,#object
      2     .globl  initrd_start
      3 initrd_start:
# J  x9 H- B- m- j8 T      4     .incbin INITRD
      5     .globl  initrd_end
      6 initrd_end:

line 2, 3, 5, 6定義了兩個symbol initrd_start和initrd_end
中間還用.incbin INITRD 將 ramdisk 的 image include進來
  S( W7 _0 X+ [) ?這邊有點複雜
假如compiler kernel的時候
/ l/ s' J! O9 S' ~# |- {. L9 ?有選擇使用ramdisk當成boot device的話
5 M; n" T2 X& t; V7 Z  V! b會對從環境變數去設置 INITRD
2 A7 @3 C, I; k% c% G3 q; d這個檔名會被帶入到MAKEFILE
! e: x# n3 x2 ?: J2 r; t並且在做assembler動作的丟進來
假如沒有使用initrd
那就.incbin應該就包不到東西
7 h$ o2 V0 q) k4 }3 A8 Xinitrd_start 和 initrd_end 就會相等
( r% Z3 l) A( K/ \2 f8 g
另外有個 script ./arch/arm/boot/bootp/bootp.lds
# |; k+ \1 \( v4 s, D它規範了所有link起來的object code裡面的section要怎麼編排
' ^1 d  ~- U  k  S& K/ j& W0 R這樣撰寫kernel的時候
可以到特定的section取得想要的資料或是計算某個section的大小

     10 OUTPUT_ARCH(arm)
% t/ S& D3 I% S8 P1 b% r     11 ENTRY(_start)
) {, F2 n! N/ E) Q# |     12 SECTIONS
     13 {
' q. O: i) S9 m$ s; Z+ B     14   . = 0;
" j. d! r6 G: j/ V: G     15   .text : {
     16    _stext = .;
/ J2 @( u9 \5 L. x$ R6 q. h     17    *(.start)
     18    *(.text)
  F4 Q+ n$ t" J9 Z9 Y+ o     19    initrd_size = initrd_end - initrd_start;
     20    _etext = .;
     21   }
+ |& ^% Y" H4 H0 ]6 @7 o7 t     22
     23   .stab 0 : { *(.stab) }
9 J; ~) w3 D) X$ h     24   .stabstr 0 : { *(.stabstr) }
# f6 W0 ?! x* F     25   .stab.excl 0 : { *(.stab.excl) }
9 D8 b0 x9 Y% e     26   .stab.exclstr 0 : { *(.stab.exclstr) }
     27   .stab.index 0 : { *(.stab.index) }
* b# c& R3 J! n* ^# x     28   .stab.indexstr 0 : { *(.stab.indexstr) }
     29   .comment 0 : { *(.comment) }
     30 }
. s% _* W1 b/ {- b- |  f
對於object file的格式不熟悉的話
/ k- }, Y% V3 P2 b可以參考ELF format的相關文件