Lua on Shell's Home

快速深入一门语言的几个问题

Fri, 15 Jun 2012 07:19:45 +0800

劳资明天要结婚了，今天婚前最后一个blog。

1.hello, world

目标：屏幕上打印出hello, world。

原因：不解释。

进阶：当命令行给与不同参数的时候，打印hello,

名字。给与开关的时候，打印hello, 123。

2.正则提取

目标：写一个正则表达式(或者类似的东西)，从一段网页源码中找到某个标签的内容，去掉前后空格，显示。

原因：测试字符串处理能力。

进阶：支持正则扩展

3.扫描排重

目标：将某个目录和子目录下的所有文件扫描，排除重复的文件。

原因：测试文件系统操作能力。

进阶：多线程处理，注意吞吐颠簸。

4.做24点自动计算程序

目标：写一个程序，能够计算24点。要求能够自定义扩展算符。

原因：检查深度优先搜索，栈，结构设计，抽象处理能力等等。

进阶：做并发处理。有数种语言可能无法实现并发，或并发实现难度大，不美观，例如python。

5.做一个计算器

目标：做一个计算器，要求能计算1+2*3=7，并支持()。

原因：表达式解析和处理需要用到程序的方方面面，字符串处理等等。

进阶：做一个本语言的eval函数出来。

7.抓网页

目标：实现一个服务，定期下载符合规则的一批网页，解析，获得格式化的数据，并存入数据库。

原因：测试系统开发能力，基础网络库，字符串处理能力。

进阶：分布化抓取。

8.留言板

目标：设计一个留言板，将所有人提交的话保存起来，能一并展示。提交不需验证，展示不需分页。

原因：测试网络服务能力，数据库支持和多国语言支持。

进阶：防止XSS攻击。

9.异步大并发服务器

目标：设计一个异步http服务器，能对请求做出响应，添加，删除，修改数据库中的数据。不得使用现有的http框架和容器。

原因：集成性测试

进阶：不使用现有数据库，自己写一个。。。

语言的效率差异2

Fri, 18 May 2012 07:14:24 +0800

问题

为了更深入的测试语言，我做了一个经典问题——24点。

这个问题主要是测试递归，循环效率，还有数组和树的复制性能。

为了简化问题，方便测试，我的问题是这样描述的：

有一个数组，里面有多个正整数。有一个操作数组，其中每个都是双目操作符。找出以两者构成算式，其值等于给定值的所有表达式组合。
要求不得遗漏，可以有少量重复。例如可交换算符的交换同构暂不做排重。

实际运行的时候，取+-*/和3 4 6 8，运行100次，查看时间消耗。正确的单次输出结果应当是这样的。

(((8 + 4) / 3) * 6) = 24
(6 / (3 / (8 + 4))) = 24
(((8 + 4) * 6) / 3) = 24
(((8 / 4) + 6) * 3) = 24
(((8 - 6) * 3) * 4) = 24
(((8 - 6) * 4) * 3) = 24
(((3 * 4) - 8) * 6) = 24
((8 - (6 / 3)) * 4) = 24
(((4 + 8) / 3) * 6) = 24
(6 / (3 / (4 + 8))) = 24
(((4 + 8) * 6) / 3) = 24
(((8 / 4) + 6) * 3) = 24
(((4 * 3) - 8) * 6) = 24
(((8 - 6) * 3) * 4) = 24
(((8 - 6) * 4) * 3) = 24
((8 - (6 / 3)) * 4) = 24

python

python的解很复杂，长达31行，以下是我写的解。当然，还有更简单的版本，我可以用eval来干这个事情，代码只有24行，但是确实给人很evil的感觉。

语言的效率差异1

Mon, 14 May 2012 02:52:27 +0800

问题

为了测试语言的效率，做一个正则解析。

预先说好，正则解析的问题是老板正在做的一个实际问题，我把其他和效率无关的部分去了。因此我接受“用法不正确”这样的反驳理由，但是不接受“这不是典型用例”的理由。我欢迎你指正我的用法错误，或者对语言不了解导致的效率低下，但是别来和我吵吵这种例子太特殊。另外，在调整代码和评估速度的时候，顺便注意一下代码行数。我知道用汇编逐行写和优化会很优秀，但是这对实际工作基本没有帮助。

问题是这样的：

有一个文本文件，每行两个数，要求解析出来这两个数。

我用python生成了数据，代码是这样的

with open(sys.argv[1], 'w') as fo:
	for i in xrange(500000):
		fo.write('%d %dn' % (i, random.randint(0, 10000)))

正则分析速率，是个典型的CPU密集操作。对于非编译型语言而言(这里的编译是指正则表达式的解析预编译，实际上除了lisp还真没有编译型的，即使是go也是现场拿到正则进行解析的)，这主要是看正则库的实现效率。很多时候，语言的效率问题并不取决于语言本身，还取决于语言的库的实现。大部分情况下我们都不可能砍掉系统的库重新来一个，那还不如换一门语言。

python

我首先贴出python语言的解答。

reline = re.compile('(d+) (d+)')
def main():
	with open(sys.argv[1], 'r') as fi:
		for line in fi: reline.match(line).groups()

这是性能

real  0m0.466s
user  0m0.436s
sys   0m0.012s

common lisp

我找了N个正则包，实际能用的只有ppcre。有些包号称很快，实际测试下来还不如ppcre。

(require :cl-ppcre)

(defun grepfile (filename)
  (let*
	  ((cl-ppcre:*use-bmh-matchers* t)
	   (cl-ppcre:*regex-char-code-limit* 256)
	   (scanner
	(cl-ppcre:create-scanner "d+ d+")))
	(with-open-file (in filename)
	  (loop
	 for line = (read-line in nil) while line do
	   (cl-ppcre:split scanner line)))))

代码在slime里面测试(time (grepfile “data.dat”))，下面是结果