我们一路奋战,不是为了改变世界,而是为了不让世界改变我们。 收藏本站
登陆 / 注册 搜索

阅读: 6.9K   回复: 5

[# 系统基础] 一名黑客要理解的计算机核心概念

推荐
回复 发新帖
仗剑天涯 论坛大牛 2018-2-17 19:34 |显示全部楼层

今生相逢便是缘分,何苦去怨恨,何苦去仇视。

主题破百
十万人都在学习的网络安全知识
    计算机学科中有很多概念, 例如编码(原码,补码,反码), 虚拟内存, 文件, IO,  编译,链接,分组交换,关系, 事务,范式, Hash, 加密。。。等等,本文试图讲一下最重要的核心集合,从这个集合当中就可以变换出计算机编程的各种魔法。1 k! ]* N' l1 G

/ g" f+ P! f( |, S    一、冯·诺依曼结构计算机的原理
: Z3 T8 m0 f' _# h
! `  s9 f5 n2 B7 T* v6 `
    所有的计算机语言,不管是Java, Python, Go, C, C++, PHP...... , 无论你在TIOBE上是排行第一还是排行第100,  无论看起来多么花哨,功能多么强大,用起来多么舒服, 最终都要变成基本的二进制指令,老老实实地在冯·诺依曼结构计算机上按规矩执行。5 H' b& Y9 Z6 U9 m

, S+ B. Y0 [4 O* s    这里是根, 我们看到的、用到的都是这棵树上的花和枝叶。$ w4 r9 H* e, a' A' I
5 S; n) d; C- K  y
    作为志向远大的、有着强烈好奇心的年轻人, 难道你不想到根部来看一看?#j324:
6 ~0 M; R+ H6 {0 \% r$ a# L5 _( r
, b+ R4 ~1 Y9 C& R! n5 w- Y* _! A    作为最基本的要求, 必须要了解CPU和内存这俩哥们是怎么亲密无间工作的: CPU从内存取出指令,进行译码和执行,执行时从内存中取出数据放到寄存器中, 进行计算, 然后把结果写回到内存。如果是跳转指令, CPU则取出跳转目的地的指令继续执行。: K- R0 O9 V. ]$ j  _
1 O) z8 M! A$ `7 ~- G# M
    如此简单的过程,竟然组成了多姿多彩的电脑世界: 你可以听音乐,玩游戏、上网聊天、用Word来写文档.....  当然看起来微不足道的一个操作,进入到CPU和内存中都可能需要成千上万条指令来完成。; ?5 B& M; r7 ]/ v6 D

/ c# S) W9 G# w; a, ~' y5 j    这些基本的指令组成了顺序、循环、分支等基本的程序结构,形成了更为强大的编程语言的基础。
8 q; N5 K/ F& Q7 Q( m+ b
$ u# ^3 {4 @+ \& |    CPU和内存、硬盘等设备的速度不匹配,是冯·诺依曼结构计算机的一个核心问题,为了解决这个问题,科学家们绞尽脑汁,想尽了办法, 又引出了一堆概念: 缓存,DMA, 同步,异步,阻塞....
0 |/ n- M4 s; Q! F, `2 E* b3 t& i; W: {& B5 X2 w
    书籍:《编码》 《穿越计算机的迷雾》
5 N3 K" A3 I* @1 g8 M: Q
" s7 ~7 c  O. c7 J) C/ e' N* _    二、进程和线程
9 \& R% q1 U; o' j

, {' o. ]: M8 P6 z9 k7 T3 _* j7 P    这俩家伙的重要性不言而喻,因为你写的所有的程序要么会成为一个独立的进程去执行,要么是被一个进程中的线程收编,没有例外 。
4 l) Z5 K  i- t2 Q4 A9 u
8 T- i$ S+ G  M: q  B  q0 q' r9 Q2 P& K    几乎所有的编程语言都会涉及到对多进程或者多线程编程的支持, 特别是多线程的并发编程, 所以你必须得搞明白它的本质是什么。
& c4 G" i  u: h5 S' L1 e% A8 B1 P$ j' w+ g: J" d9 _
    进程是对一个运行中的程序的抽象,没有这个概念,我们是无法实现一边听歌、一边上网的惬意生活。/ L: |3 V) K) p& U' ]$ r
& j2 u' b, m. _4 C
    对于CPU来讲, 它只是“浑浑噩噩”地从某个地方取指令,译码执行,但是它不会意识到在某一刻整个世界已经变了天, 它执行的程序已经发生了切换,另外一个程序(准确地讲叫进程)已经成功地抢班夺权。
1 n( o  A7 ?' {) m& Z/ q
! {% t; k, z# z9 A1 [' A    每个进程都有一个被操作系统老大维护的进程控制块, 里边保存了这个进程在运行时的重要信息,是进程能来回切换的重要保证。
5 `) M5 ]6 x3 G- h- M6 Q( j& i
6 K6 S$ \& Z. }# [/ H8 ~, C    而线程则寄居于进程之内 , 共享进程提供福利(代码和数据)的同时, 还拥有自己的一亩三分地。
2 D9 }2 J2 n. i: y3 Y  P1 p7 f6 Q; `8 f# @8 s8 G
一名黑客要理解的计算机核心概念 1-进程.png

& [' D, v- N) w# b    线程的出现,提升了系统的性能、吞吐量和响应性。  但是多进程/多线程编程也带来了一系列问题: 同步,通信,锁, 死锁。。。
  F! W- F/ Q8 W4 T: o8 p  G- B  v/ f: h9 R
    扩展阅读:+ T4 m4 A1 R5 p
    《我是一个进程9 [6 x# I- y. a( c8 z8 z: Q. j
    《我是一个线程
: h+ \7 t' K* o0 T4 i6 d3 P* a    书籍:《操作系统概念》
$ C5 s1 K' v: f. I, {: l) }' P# g    . B& Z) y; u& L8 G6 K2 w' r
    三、虚拟内存
  j3 e* A4 b  o, K$ p# |5 l, g/ v- W' T7 H' D2 c$ C0 b1 {: ^
    有了物理内存, 为啥还有虚拟内存?一个重要的原因就是给各位进程先生提供一个由虚拟地址组成的独立王国,给他们造成一种假象:我最重要,我是独占内存的!; ~, i) |0 n' r" c9 k: O+ f6 o
1 D3 Y: S& p& h6 o) E# Q$ U
    每个人在自己的独立王国里闹腾,就不会互相打架, 治安也就有了保证。$ c& R. b# `( [8 H: |

; W5 D6 F% G" k" o% D8 b2 q    但是在虚拟地址王国里做不了什么事情,指令必须在物理内存中才能被执行,操作系统老大用尽浑身解数,把每个进程的虚拟地址映射到实际地址上去,表面上不动声色,背后绝对惊心动魄,分段,分页,页表,还要动用CPU的TLB来加速。0 r6 n( q# @6 T" Y6 Q

: S  E  ?+ y+ Z, G  b    程序并不是像你想象的那样,一下子全部装载到内存的, 而是慢慢地, 用到的时候才进行装载。
& p2 C% q# B' U
, G+ l8 H+ P8 \  i    进程一条普通指令的执行, 其实有一大家子在鞍前马后地忙碌着, 而进程几乎浑然不觉,真是太幸福了。
8 |2 F8 f6 Z$ x/ j( _3 U7 r# A. x; H# _& b9 K% S
    扩展阅读:
6 x: W7 u  F" L/ p2 C- d5 Y. j" E    书籍《深入理解计算机系统》, 《操作系统概念》4 H+ y+ T' S& B$ r# P
" j* ~# E) O& E6 v8 x% Y
    四、网络的核心概念

  m7 i. u4 p# K
: d; B4 U" n, ?1 |* U    上面所说的都局限于一台计算机, 然而一张大网早已经把这些孤岛联系在一起。这张大网就你我的周围, 我们都变成了它的一个节点。
: i* ]) ?; k6 o5 a/ t) ^, M) t) C& J5 r& N' B& \$ r
    大网的设计非常有趣,没有一个中心的节点,某几个甚至某一片节点阵亡都没有关系,大网继续生存,提供服务。作为码农我们要理解的核心概念是: 分组交换, TCP/IP参考模型, socket , http(s)。
7 Z) u5 P+ @; F! ]
9 P& n6 h  T* U7 T; Y9 Z( I8 p: p6 |    你也许没有想到,你上网玩游戏,听音乐,看这篇文章,其中的数据并不是一下子全发给你的, 而是被切分成适合网络传输的小块,给每个小块编上号, 每个小块都独立地走相同甚至不同的网络路径, 到达你这里,重新排序,组合,然后才展示给你,  这就是分组交换。1 p) f0 p% R7 Z. _, ^, @
9 p6 ^; z" S- j$ ?  l. A6 a3 D
    使用分组交换可以充分的利用网络带宽: 在你不使用的间隙,别人也可以利用。
7 W2 y! F7 D& _" R2 P2 A' Y  N. ^  H- e! k( u- m# T! |( T
    但是一个很明显的问题就是分组数据丢失了怎么办? 如何检测, 怎么重发,如何缓存已经收到分组数据等一系列烦人的问题接踵而来。  这就是TCP要干的事情。& ]- l5 p; Z2 ~* e+ O

( C* l" P; ^: R9 Y* A+ K# e    如果你能体会到TCP是在端系统实现的,中间节点一无所知,我想你就Get到了分组交换和分层的真谛。" r/ ]. a( q9 V+ e

; t' U% n" |" ^) A4 S    TCP/IP参考模型定义了5层: 应用层,传输层,网络层,链路层,物理层。你一定得理解所谓的分层只不过是把你的数据层层包装而已,在传输的过程层中每到一个节点都会拆开某一层的包装,查看一下数据, 然后再次包装,转发出去,直到终点。
5 T6 \7 p: {3 ]  U0 H  C
: u( E. ~4 w2 Z6 l3 J6 O    也许你不愿意了解底层烦人的细节, 但是一定要理解socket和http(s) , 这哥俩最贴近我们码农的日常生活,我们经常直接和他们对话,利用他们收发数据, 所以花点经历好好学学吧。$ g7 Q! n" F( L0 K/ X) H9 y1 p
9 V: S  Z$ y8 y2 b
    图书:3 F% a# g+ T% D+ R4 h
    《图解HTTP》  x" E; j5 |3 N/ G$ s+ ]' [) E2 _
    《计算机网络:自定向下的方法》
+ K' [& ^4 v4 H8 h* d, v$ q6 e  S! M: s3 o1 U1 j. D% y
    五、Hash 和 RSA7 ^& v' b3 z3 d
# Q1 \' S% {: U7 L
    如果说Https是网络安全通信的一大基石, 那Hash和RSA 则是基石的基石。为了保证消息在传输过程中的私密性, 完整性,不可伪造性,这哥俩可以说是功不可没。' }! X9 O# r' l, [

. l( u) u* b  w" b+ K    其实不仅仅是Https , 在各种软硬件平台上都能看到他们勤奋的身影, 例如SSO, SSH, JWT .....  所以非常值得你投入精力去学习。
! r  D4 F& n1 z2 |3 ?: q# w3 D2 f6 Y; V" Y) W
    RSA最为美妙之处就是有一对儿钥匙, 一个是私有的、保密的, 另外一个是公有的, 谁都可以知道, 这对于之前的对称密钥是个极大的颠覆, 谁能想到原先需要保密的密钥竟然可以公开呢!0 f& ?7 H" `2 ?! C' _3 ]6 o# {

. G- o, F: b9 j# F$ _. x    更有意思的是私钥加密的数据只有相应的公钥才能解开, 反之亦然,这确实是很漂亮的概念。3 x! i2 Z3 J5 p! b
' Q6 y7 a( h' O: {) {, a: s: ]
    RSA的概念很简单, 但是为了实现真正的安全消息传输,作为第一步必须得有数据签名做保证, 你需要理解如何对消息用Hash形成摘要,然后用私钥签名,又是如何验证这个签名的, 理解了这一点,很多东西都迎刃而解。" t* B+ V% r  s( e
. ]& v9 L7 n/ H! q


渡年「出类拔萃」 2018-2-17 19:34 来自手机 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

4 E, P( y' I2 u  H
好帖   }. p8 ~3 m2 N2 S/ G
很好帖
8 K0 U. b" p0 D: X. h  u确实好帖
+ B6 e8 I$ X: a- c6 e1 S少见的好帖
. }/ C! v5 h; }/ K真 *** 好帖 " d* f* o4 E# q
难得一见的好帖
% ^. M' e# J8 f千年等一回的好帖
5 L1 W: A  B. b, h! ^好得不能再好的好帖 2 N- l" Q$ \5 |9 t8 I! _
惊天地且泣鬼神的好帖 + k1 b  {4 B! P4 K# q  Z
让人阅毕击掌三叹的好帖 * q4 d6 j1 F5 Q! S, q2 i# Y
让人佩服得五体投地的好帖
  N. n% Z6 q" B让人奔走相告曰须阅读的好帖
; w- M# C& Q  E9 Y+ t9 e# B让斑竹看后决定加精固顶的好帖
6 f% g2 W1 C( T" i让人看后在各论坛纷纷转贴的好帖
' ]9 G/ q9 G' c/ L- A# m让人看后连成人网站都没兴趣的好帖 # t+ U7 p# X( g& X6 N  y. k6 x
让人看完后就要往上顶往死里顶的好帖 6 T$ \" r2 V# O& L3 R* n
让人看后不断在各种场合重复引用的好帖 ! ^) f$ b" a* y2 }7 }! V% P+ O9 c% Y
让人一见面就问你看过某某好帖没有的好帖
9 ^- Y" S2 ]0 h% G2 K$ f/ c. z让人半夜上厕所都要打开电脑再看一遍的好帖 1 U8 b! {! Y9 f: }% f+ P
让个读过后都下载在硬盘里详细研究欣赏的好帖 6 G2 e- t% Q7 ?" m5 G, |2 X9 i
让人走路吃饭睡觉干什么事连做梦都梦到它的好帖 % Q) P% U& `6 m% e4 z5 t7 y  C
让人翻译成36种不同外语流传国内外世界各地的好帖
' b4 d2 d$ _, l9 Q2 P9 [0 f让人纷纷唱道过年过节不送礼要送就送某某帖子的好帖
! [4 f; @  \% Z让国家领导人命令将该帖刻在纯金版上当国礼送人的好帖
( m9 r9 y8 B; U让网络上纷纷冒出该帖的真人版卡通版搞笑版成人版的好帖 . {2 U5 Z+ e" p9 X* B
让人在公共厕所里不再乱涂乱化而是纷纷对它引经据典的好帖   }, D) t$ G8 W
让某位想成名的少女向媒体说她与该帖作者发生过性关系的好帖 3 A# Q1 u0 v. ?+ l" l/ b% P2 o
让人根据它写成小说又被不同导演拍成48个不同版本的电影的好帖 $ {  z# d2 d% |. n. I! i0 z
#372:
站在记忆的边缘「出类拔萃」 2018-2-18 14:13 来自手机 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

第一次评论,
0 D% ]2 |7 T8 u3 e好紧张啊,; L! A, n7 f4 p6 X5 ~& w

* s/ v- h6 _% P. L0 g' m, B+ M% W# m
该怎么说啊,
# x( V( X$ M, v+ q$ e, c
9 c" D4 }  Y, Z+ Z, U打多少字才显的有文采啊,
6 L: h1 U3 t8 G  ^) F$ E这样说好不好啊,4 a/ B/ s4 x. @. l" A: f
, j, V4 v+ R7 y
7 d! l" w8 k0 y) E' P0 P& o
会不会成热贴啊,3 y* p: q4 Y! V
! ^* c+ Y7 ?& i! p) |# @- s
我写的这么好会不会太招遥,
& j9 t1 S- O9 L4 p8 H写的这么深奥别人会不会看不懂啊,6 W5 N" _, e$ }3 n
怎样才能写出我博士后的水平呢,6 _" ~" u. Y5 V# ?9 C# |. o9 G
半年写了这么多会不会太快啊,
* N) y; b- c1 n4 P& k" l好激动啊。#y424:#y424:
L155「初入古黑」 2018-2-28 14:55 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

说句实话 没看懂
一般男性「初入古黑」 2018-3-30 22:48 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

找不到这些书的资源啊
深蓝炉火纯青 2020-1-17 22:49 来自手机 |显示全部楼层

一个男人没有丰富的面部表情,不代表他没有丰富的内心世界。

赞助会员
感谢分享。
您需要登录后才可以回帖 登录 | 注册账号  

本版积分规则

关于本站|大事记|小黑屋|古黑论 网站统计

GMT+8, 2020-6-4 15:41 , Processed in 0.028572 second(s), 20 queries , Redis On.

© 2015-2020 GuHei.Net

Powered by Discuz! X3.4

快速回复 返回列表