Shell's Home

Dec 16, 2014 - 1 minute read - Comments

北海道旅游——札幌附近地区攻略

札幌 白色恋人巧克力工坊 在宫の沢站,从大通坐东西线,340就可达。 工坊庭院非常漂亮,整点有音乐表演。一楼进去是商店,可以在那里买到全系列的产品。小火车在往里走,不过我们去的时候人挺多,很遗憾没坐上。 工坊在9:30, 11:30, 13:30, 15:30提供亲手制作巧克力饼干的课程,必须赶准时间否则就得等下一批。参观博物馆是600一人,我们报的课程是1250的,报名者参观打折到500。 课程并不复杂,戴好装备走进去,大约一刻钟到半小时的操作后,出来等烘陪结果。大约20分钟后再进去裱花,然后就可以带走了。很多小孩进去体验的,大人还可以在外面看着。 带小孩进去的需要注意安全,最好有大人陪同。 博物馆里有很多老式留音机,碰到半点(准确时间不确定)还会有表演。 建议一早冲过去,踩准点,否则容易碰到白白等着。做饼干的空余,出来在餐厅喝个茶,吃点糕点,看看风景。一般还能看到音乐表演。逛到楼下直接买点东西就走。 36片的巧克力饼干折扣价在2400日元上下,目前汇率折合人民币120上下。 蟹将军 在ささきの那里,离开狸小路非常近。从大通可以走到。 全蟹宴大概4300-4500,按现在汇率,200多点的样子。店的定位非常高档,所以绝对超值。 整个店都是要脱鞋,全地板铺塌塌米。上了一堆螃蟹,最后还有一道泡饭,是穿着和服的女服务员帮着处理的。手势超级优雅,感觉碉堡了。 狸小路 在大通南边一点,是一条非常热闹的步行街。 去的话可以先学学小钢珠(パチンコ)的玩法。其实没啥好学的,就是扔进去,完了按按钮。但是老婆楞是没看懂,没上去玩。主要是,我们完全没想到这种简单的规则还能当游戏玩。。。 狸小路5那里有个免税店,店员的中文相当不错,价格也基本是最低了(至少白色恋人巧克力是这样)。我在那里基本扫齐了所有货。 狸小路上有一家饺子の王將,两盘饺子加一个杏仁豆腐才733。换成人民币大约36,和上海基本持平。关键是,好吃到爆啊!!!顿时觉得上海的饺子店弱爆了。 居酒屋 我们总计吃了两次居酒屋。 首先,大部分居酒屋都有服务费。例如毛巾,前菜什么的。一般是一个人500上下。我们第一次不知道,进去点了1500的东西,被收了2500。老婆日语太差,还不敢问。后来就明白了,大部分这种店都是这样的。只要是居酒屋类的,都会收取一定的服务费。蟹将军不是很确定,可能也是收了服务费的。 但是,居酒屋的点菜超级困难。根据大熊酱的说法,日语二级进去也未必能全身而退。我老婆日语还不一定比我强,去了就要英文菜单了。 居酒屋基本就是吃个意思。论性价比还是饺子の王將,或者吉野家之类的比较好。可是真去日本的,基本不会选择这些。 小樽 小樽没啥好说的,总共才去了半天。 nikka的威士忌酒厂没啥好看的,倒是商店里面的商品还算不错。有很漂亮的小瓶威士忌,当纪念品很好。 情书拍摄地很坑。 商店街那里看个人喜欢。玻璃制品和八音盒都很漂亮,让人担心自己的钱包。有空的话可以多逛一下,买点海鲜吃。 滑雪 坑爹。第一天跑过去,大雪关门。第三天跑过去,还有半个小时关门。 所以,这次滑雪行程没有滑到雪。 不要玩一些太少人玩的东西啊,只有一个人玩的结果就是很可能投票失败。。。 洞爷湖 我们住的酒店叫做洞爷湖万世屋。我开始还不知道。出门一看,越后屋。我了个去。尼玛万事屋不是因为空知英秋根本住过这间吧。 不管了,扫货。整个店里面,大部分动漫都是银魂和天体的周边(偷偷说,酒店去餐厅路上还能看到天体的海报)。 登别 地狱谷有鬼灯的画报。好像还有周边,但是没空逛。

Nov 20, 2014 - 1 minute read - Comments

上下文切换技术

上下文切换技术 简述 在进一步之前,让我们先回顾一下各种上下文切换技术。 不过首先说明一点术语。当我们说“上下文”的时候,指的是程序在执行中的一个状态。通常我们会用调用栈来表示这个状态——栈记载了每个调用层级执行到哪里,还有执行时的环境情况等所有有关的信息。 当我们说“上下文切换”的时候,表达的是一种从一个上下文切换到另一个上下文执行的技术。而“调度”指的是决定哪个上下文可以获得接下去的CPU时间的方法。 进程 进程是一种古老而典型的上下文系统,每个进程有独立的地址空间,资源句柄,他们互相之间不发生干扰。 每个进程在内核中会有一个数据结构进行描述,我们称其为进程描述符。这些描述符包含了系统管理进程所需的信息,并且放在一个叫做任务队列的队列里面。 很显然,当新建进程时,我们需要分配新的进程描述符,并且分配新的地址空间(和父地址空间的映射保持一致,但是两者同时进入COW状态)。这些过程需要一定的开销。 进程状态 忽略去linux内核复杂的状态转移表,我们实际上可以把进程状态归结为三个最主要的状态:就绪态,运行态,睡眠态。这就是任何一本系统书上都有的三态转换图。 就绪和执行可以互相转换,基本这就是调度的过程。而当执行态程序需要等待某些条件(最典型就是IO)时,就会陷入睡眠态。而条件达成后,一般会自动进入就绪。 阻塞 当进程需要在某个文件句柄上做IO,这个fd又没有数据给他的时候,就会发生阻塞。具体来说,就是记录XX进程阻塞在了XX fd上,然后将进程标记为睡眠态,并调度出去。当fd上有数据时(例如对端发送的数据到达),就会唤醒阻塞在fd上的进程。进程会随后进入就绪队列,等待合适的时间被调度。 阻塞后的唤醒也是一个很有意思的话题。当多个上下文阻塞在一个fd上(虽然不多见,但是后面可以看到一个例子),而且fd就绪时,应该唤醒多少个上下文呢?传统上应当唤醒所有上下文,因为如果仅唤醒一个,而这个上下文又不能消费所有数据时,就会使得其他上下文处于无谓的死锁中。 但是有个著名的例子——accept,也是使用读就绪来表示收到的。如果试图用多个线程来accept会发生什么?当有新连接时,所有上下文都会就绪,但是只有第一个可以实际获得fd,其他的被调度后又立刻阻塞。这就是惊群问题thundering herd problem。 现代linux内核已经解决了这个问题,方法惊人的简单——accept方法加锁。(inet_connection_sock.c:inet_csk_wait_for_connect) 线程 线程是一种轻量进程,实际上在linux内核中,两者几乎没有差别,除了一点——线程并不产生新的地址空间和资源描述符表,而是复用父进程的。 但是无论如何,线程的调度和进程一样,必须陷入内核态。 传统网络服务模型 进程模型 为每个客户分配一个进程。优点是业务隔离,在一个进程中出现的错误不至于影响整个系统,甚至其他进程。Oracle传统上就是进程模型。 缺点是进程的分配和释放有非常高的成本。因此Oracle需要连接池来保持连接减少新建和释放,同时尽量复用连接而不是随意的新建连接。 线程模型 为每客户分配一个线程。优点是更轻量,建立和释放速度更快,而且多个上下文间的通讯速度非常快。 缺点是一个线程出现问题容易将整个系统搞崩溃。 一个例子 py_http_fork_thread.py 在这个例子中,线程模式和进程模式可以轻易的互换。 如何工作的 父进程监听服务端口 在有新连接建立的时候,父进程执行fork,产生一个子进程副本 如果子进程需要的话,可以exec(例如CGI) 父进程执行(理论上应当先执行子进程,因为exec执行的快可以避免COW)到accept后,发生阻塞 上下文调度,内核调度器选择下一个上下文,如无意外,应当就是刚刚派生的子进程 子进程进程进入读取处理状态,阻塞在read调用上,所有上下文均进入睡眠态 随着SYN或者数据报文到来,CPU会唤醒对应fd上阻塞的上下文(wait_queue),切换到就绪态,并加入调度队列 上下文继续执行到下一个阻塞调用,或者因为时间片耗尽被挂起 关于更多细节,可以看这里。这篇文章里还介绍了epoll的工作细节。 评价 同步模型,编写自然,每个上下文可以当作其他上下文不存在一样的操作,每次读取数据可以当作必然能读取到。 进程模型自然的隔离了连接。即使程序复杂且易崩溃,也只影响一个连接而不是在整个系统。 生成和释放开销很大(效率测试的进程fork和线程模式开销测试),需要考虑复用。 进程模式的多客户通讯比较麻烦,尤其在共享大量数据的时候。 C10K问题 描述 当同时连接数在10K左右时,传统模型就不再适用。实际上在效率测试报告的线程切换开销一节可以看到,超过1K后性能就差的一塌糊涂了。 更细节描述,可以看这里。 进程模型的问题 在C10K的时候,启动和关闭这么多进程是不可接受的开销。事实上单纯的进程fork模型在C1K时就应当抛弃了。 Apache的prefork模型,是使用预先分配(pre)的进程池。这些进程是被复用的。但即便是复用,本文所描述的很多问题仍不可避免。 线程模式的问题 从任何测试都可以表明,线程模式比进程模式更耐久一些,性能更好。但是在面对C10K还是力不从心的。问题是,线程模式的问题出在哪里呢? 内存? 有些人可能认为线程模型的失败首先在于内存。如果你这么认为,一定是因为你查阅了非常老的资料,并且没仔细思考过。 你可能看到资料说,一个线程栈会消耗8M内存(linux默认值,ulimit可以看到),512个线程栈就会消耗4G内存,而10K个线程就是80G。所以首先要考虑调整栈深度,并考虑爆栈问题。 听起来很有道理,问题是——linux的栈是通过缺页来分配内存的(How does stack allocation work in Linux?

Nov 18, 2014 - 2 minute read - Comments

上下文切换测试总结报告

效率测试 测试环境 Intel® Pentium® CPU G2030 @ 3.00GHz 8G内存 debian jessie Linux 3.16-2-amd64 2014年10月27日 附注一下,该CPU有2核心,无HT,1ns3个时钟周期。 测试方法 测试代码如下: time -f "%e,%S,%c,%r,%s,%K,%P" ./perf_fork 数据的意义分别为: 总时间,内核CPU时间,context switch次数,读/写次数,内存耗用,CPU使用百分比。 数据处理方法如下: import numpy as np p = lambda s: [float(line.strip().split(',')[0]) for line in s.splitlines()] q = lambda s: [float(line.strip().split(',')[1]) for line in s.splitlines()] np.array(p(s)).mean() np.array(p(s)).var() np.array(q(s)).mean() np.array(q(s)).var() 基础开销测试 函数调用开销 使用s_call来测试性能,循环1G次。 2.35,0.00,17,0,0,0,99% 2.34,0.00,13,0,0,0,99% 2.34,0.00,10,0,0,0,100% 2.35,0.00,10,0,0,0,99% 2.34,0.00,14,0,0,0,99% 2.34,0.00,6,0,0,0,99% 统计结果如下: time mean = 2.

Nov 7, 2014 - 2 minute read - Comments

手机上app的权限对比和分析

简述 今天看到这篇文章,勾起了我的好奇。我的手机里有多少app有安全隐患呢?当然,我知道很多有安全问题的app我不能删——例如企鹅家。但是如果某个app没有必然需要,或者有替代品。我不介意换一个用。所以我写了这篇blog,对比了各种同类或近似app的权限要求。 先说明一点,这篇文章所列出的app权限,是根据当前(2014-11-07)google play上的应用权限数据,截取我感兴趣的部分权限汇总的。既不是完全的敏感权限列表,也不可能不变化。如果有什么补充,欢迎你联系我。 同时你需要知道,app需要某个权限,并不一定表示要用来做坏事。很多时候是因为功能确实需要。因此我也在下面点评了部分我知道的功能需要对应权限。即便我们在app里面找不到权限对应功能,也不能绝对断言app正在作恶——只是相比起来我更信任不需要提供这个权限的app而已。这也是为什么我做的是分类对比——方便你来比较和替换。 IM类 telegram read SMS 照相 录音 location read/modify contacts run at startup talkback change audio setting 我太感动了。 QQ read SMS read/modify contacts 照相 录音 location read/write call log read/write calendar disable screen lock NFC bluetooth run at startup change audio setting 流氓权限大集合啊。你说要contacts我还能理解,要call log干嘛?还要write?而且功能里也找不到为什么需要NFC和蓝牙。 微信 read SMS 照相 录音 location read/modify contacts bluetooth run at startup change audio setting 基本同QQ,不过权限少了很多。

Nov 6, 2014 - 1 minute read - Comments

context切换测试——C语言协程有关部分请求review

setjmp/longjmp测试 使用s_jmp程序来测试setjmp的性能。1G次循环。下面是结论: 5.77,0.00,29,0,0,0,99% 5.70,0.00,30,0,0,0,99% 5.71,0.00,22,0,0,0,99% 5.71,0.00,23,0,0,0,99% 5.70,0.00,30,0,0,0,100% 5.70,0.00,23,0,0,0,99% 统计结果如下: time mean = 5.715 time var = 0.000625 单次调度开销只有5.7ns,在所有测试中性能最优。(glibc-2.19/sysdeps/x86_64/setjmp.S) getcontext/setcontext测试 使用s_context程序来测试setcontext的性能。100M次循环。下面是结论: 12.96,5.88,79,0,0,0,99% 13.13,5.94,105,0,0,0,99% 12.95,6.18,57,0,0,0,99% 13.13,5.90,64,0,0,0,99% 12.95,5.88,82,0,0,0,99% 12.96,5.80,51,0,0,0,99% 统计结果如下: time mean = 13.01 time var = 0.0068 单次调度开销高达130ns,仅比系统的sched在高线程下略快。这事很奇怪,因为根据我看到的源码(glibc-2.19/sysdeps/unix/sysv/linux/x86_64/setcontext.S),getcontext/setcontext在glibc中是用汇编实现的。其中陷入内核只是为了设定signal mask。

Oct 31, 2014 - 1 minute read - Comments

context切换测试——线程创建有关部分请求review

线程模式开销 使用t_thread程序,循环1M次,重复6次,原始数据如下: 9.57,8.22,21098,0,0,0,104% 9.77,8.40,29704,0,0,0,104% 9.36,8.17,10390,0,0,0,106% 9.56,8.50,14514,0,0,0,107% 9.35,8.34,7244,0,0,0,108% 9.57,8.43,26351,0,0,0,106% 统计结果如下: time mean = 9.53 time var = 0.02 kernel mean = 8.34 kernel var = 0.013 解读数据可以看到,thread模式的开销为9530ns(已经降到纳秒级了),CPU将为8340ns,精确级别在20ns级别。粗略换算一下每次create的开销大约是30k个时钟周期。简单对比可以看出,thread模式比fork模式大约快了5倍。

Oct 30, 2014 - 1 minute read - Comments

context切换测试——调用开销有关部分请求review

函数调用开销 使用s_call来测试性能,循环1G次。 2.35,0.00,17,0,0,0,99% 2.34,0.00,13,0,0,0,99% 2.34,0.00,10,0,0,0,100% 2.35,0.00,10,0,0,0,99% 2.34,0.00,14,0,0,0,99% 2.34,0.00,6,0,0,0,99% 统计结果如下: time mean = 2.34 time var = 0.000022 每次call的开销为2.34ns,约7个指令周期。当然,这些并没有考虑调用压栈和数据返回。 内核调用开销 使用s_syscall来测试性能,循环1G次。这里特意选用了一个不可能失败的内核函数,getpid,来衡量每次进入getpid的开销。 4.37,0.00,76,0,0,0,99% 4.34,0.00,43,0,0,0,99% 4.37,0.00,124,0,0,0,99% 4.37,0.00,63,0,0,0,99% 4.36,0.00,48,0,0,0,99% 4.36,0.00,47,0,0,0,99% 统计结果如下: time mean = 4.36 time var = 0.00011 这里可以看到,纯粹的内核进入开销小到非常惊人,只有4.36ns,约合13个指令周期,而且这里还要进行数据的查询和返回。所以内核调用开销在下面的测试中全部忽略不计。

Oct 29, 2014 - 1 minute read - Comments

context切换测试——python有关部分请求review

python yield模式性能测试 python下的测试就不用time了,我们改用python的timeit,循环100M次。具体可以看py_yield.py。数据结果如下: 7.64262938499 9.2919304393e-06 5.41777145863 4.94284924931e-06 从结果来看,100M次循环的平均时间是5.4s,平均每次大约54ns。使用yield后变为76ns,增加了22ns。 python greenlet模式性能测试 这次代码在py_greenlet.py,循环10M次。数据结果如下: 5.35270996888 7.44085846125e-05 5.31448976199 5.82336765673e-05 单次循环时间消耗为535ns。比最初的54ns,增加了481ns。基本来说,时间增长了10倍率。 这是预料中的,因为greenlet早就声明自己通过堆栈拷贝来实现上下文切换。这会消耗大量CPU时间。从原理上说,栈越深,消耗越大。但是测试结果表明两者几乎没有差异,栈深反而性能更加优异(TODO: why?)。

Oct 28, 2014 - 1 minute read - Comments

context切换测试——进程有关部分请求review

测试环境 Intel® Pentium® CPU G2030 @ 3.00GHz 8G内存 debian jessie Linux 3.16-2-amd64 2014年10月27日 附注一下,该CPU有2核心,无HT,1ns3个时钟周期。 测试方法 测试代码如下: time -f "%e,%S,%c,%r,%s,%K,%P" ./perf_fork 数据的意义分别为: 总时间,占用CPU时间,context switch次数,读/写次数,内存耗用,CPU使用百分比。 数据处理方法如下: import numpy as np p = lambda s: [float(line.strip().split(',')[0]) for line in s.splitlines()] q = lambda s: [float(line.strip().split(',')[1]) for line in s.splitlines()] np.array(p(s)).mean() np.array(p(s)).var() np.array(q(s)).mean() np.array(q(s)).var() 进程fork开销 使用s_fork程序(注释语句关闭模式),粒度1M次,重复6次,原始数据如下: 49.04,26.83,29784,0,0,0,55% 51.53,26.38,32057,0,0,0,52% 49.88,26.02,30892,0,0,0,53% 51.39,27.13,37573,0,0,0,54% 52.89,28.12,37924,0,0,0,54% 51.19,27.02,35880,0,0,0,54% 统计结果如下: time mean = 50.98 time var = 1.

Sep 25, 2014 - 1 minute read - Comments

bash严重漏洞

今天估计各大消息都在报这个漏洞,可能有些人看到有修复就放松了。目前来看,事情没那么简单。 CVE-2014-6271 第一个漏洞,编号为CVE-2014-6271。相应的dsa和usn。 具体的文章可以看这里。 简单来说,当bash执行时看到有变量定义了一个函数,函数尾部又剩余了部分代码。会直接把剩余代码执行了。导致简单的变量定义动作有机会执行任意代码。 对于未修补的系统,执行以下代码出现以下提示: $ env x='() { :;}; echo vulnerable' bash -c "echo this is a test" vulnerable this is a test 注意echo vulnerable应当不被执行的。 修复的系统则是以下表现: $ env x='() { :;}; echo vulnerable' bash -c "echo this is a test" bash: warning: x: ignoring function definition attempt bash: error importing function definition for `x' this is a test CVE-2014-7169 第二个漏洞,编号为CVE-2014-7169。 这个漏洞是第一个漏洞没有修复完全导致的,最麻烦的是,这个漏洞没有修复,细节却满天飞了。 表现如下: $ env X='() { (a)=>\' sh -c "echo date"; cat echo sh: X: line 1: syntax error near unexpected token `=' sh: X: line 1: `' sh: error importing function definition for `X' Wed Sep 24 23:25:58 PDT 2014 结论和建议 尽量不要暴露bash,能关就关,不行的自求多福吧。