大罗-PHP/Python博客 - 技术

Django 1.2 alpha1 发布

nospam@example.com (rollenc) — Thu, 07 Jan 2010 10:39:09 +0800

不兼容的改动：

1. 增加CSRF（防跨域提交表单）这个改动比较大。相对1.1来说，所有的表单中都需要加上CSRF的HTML标签，不然表单数据将无法通过验证。
2. IF标签将更加强大。现在可以使用 {%if a==b and b 3. 惰性对象。提供一个惰性封装，只有在需要获得该对象的值时，才加载数据
4. 在Model对象中__dict__改变，增加了_state属性
5. 在字段类中，get_db_prep_*() 方法改变了，增加了几个参数
6. 模板tags的状态BUG修正。在之前版本中，在使用了模板缓存的情况下，带有状态属性的tags可能导致异常，这一个bug已经修正
7. 测试运行后，将返回状态码0表示正常，或1等其他错误码

新功能：
1. CSRF支持
2. EMAIL后端支持。现在可以将错误报告的EMAIL发送到文件，console甚至内存中。
3. 消息框架 django增加了一个message框架，可以基于session或者cookie进行记录。以前只能给已登录用户存储message。（这里的message指的是flash message）
4. 多数据库支持
5. 智能的if标签
6. 模板缓存
7. 原生的key搜索。可使用 self.get(first_name=first_name, last_name=last_name) ，以前只能使用主键ID
8. 更快的测试错误处理
9. 本地化支持改进
10. ModelAdmin中增加readonly_fields
11. 可定制的语法高亮

接下来，django团队将在3月2号发布rc版本，3月9号发布1.2的正式版本

更多信息，请查阅：官方声明

修复mako html编辑器语法的高亮问题

nospam@example.com (rollenc) — Sun, 03 Jan 2010 05:06:50 +0800

mako中的%标记方式让不少编辑器抓狂，包括aptana,eclipse,textmate等。受asp的影响，<%是作为服务器脚本语言的开始标记，相应的，%>为结束标记。
在mako中，示例代码如下：

< %inherit file="/base.mako" />
< %def name="head_title()">
    rollenc拼博-PHP博客

Here is a p

在这段代码中，由于没有 %> 结束标记，编辑器将认为从一行后所有的代码均为服务器脚本，而非html代码，导致html高亮，格式等功能全部失效。
解决办法：替换<%脚本
mako支持预处理。即在mako模板引擎处理之前，自己写一个脚本来预先替换或作其他操作。将<%inherit file="/base.mako" /> 修改为 <makoinherit file="/base.mako" /> 是个不错的注意。既不违反XHTML的规定，又避免了抓狂的 <%
1. 在建立TemplateLookup对象时，增加preprocessor参数，在交给mako处理之前，还原<mako:为<%

def my_preprocessor(text): 
        text = re.sub(r'<(/?)mako:', r"<\1%", text)
        return text

lookup = TemplateLookup(
        #....
        preprocessor = my_preprocessor,
        )

若在pylons中，则修改文件：config/environment.py

# Create the Mako TemplateLookup, with the default auto-escaping
    def my_preprocessor(text): 
        text = re.sub(r'<(/?)mako:', r"<\1%", text)
        return text
    config['pylons.app_globals'].mako_lookup = TemplateLookup(
        directories=paths['templates'],
        error_handler=handle_mako_error,
        module_directory=os.path.join(app_conf['cache_dir'], 'templates'),
        input_encoding='utf-8', default_filters=['escape'],
        imports=['from webhelpers.html import escape'],
        preprocessor = my_preprocessor,
        )

增加了2，3，4，11行。 2. 替换.mako模板代码中的<% , </%。替换后，上面示例代码如下：



    rollenc拼博-PHP博客

Here is a p

How to install Pylons in Ubuntu

nospam@example.com (rollenc) — Fri, 01 Jan 2010 13:28:40 +0800

Env:
Python 2.5
Ubuntu

1. Install paste



sudo easy_install-2.5 paste

2. Install pylons



sudo easy_install-2.5 Pylons

3. install SQLAlchemy if you'd like to use



sudo easy_install-2.5 SQLAlchemy

4. create a pylons project:



paster create --template=pylons test

That will ask you two questions:

Enter template_engine (mako/genshi/jinja2/etc: Template language) ['mako']: mako
Enter sqlalchemy (True/False: Include SQLAlchemy 0.5 configuration) [False]: True

5. create a deployment.ini



cd test

cp test/config/deployment.ini_tmpl test/config/deployment.ini

vi deployment.ini

modify the email_to, db setting or others to fit in with you

6. start the test server



$paster serve --reload development.ini

Starting subprocess with file monitor

Starting server in PID 12212.

serving on http://127.0.0.1:5000

You will see a pylons welcome page when you open http://127.0.0.1:5000 in your favorite browser.

7. create a new controller



paster controller hello

Visit http://127.0.0.1:5000/hello/index and you will see a text page: "Hello World"

All job done. Have your fan.

Notice: make sure you've added the version 2.5 into easy_install command when you have multiply python version in your system.

豆瓣DB开源：beansdb

nospam@example.com (rollenc) — Thu, 31 Dec 2009 02:01:06 +0800

介绍
BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统，采用HashTree和简化的版本号来快速同步保证最终一致性（弱），一个简化版的Dynamo。

它采用类似memcached的去中心化结构，在客户端实现数据路由。目前只提供了Python版本的客户端，其它语言的客户端可以由memcached的客户端稍加改造得到。

特性

高可用：通过多个可读写的用于备份实现高可用
最终一致性：通过哈希树实现快速完整数据同步（短时间内数据可能不一致）
容易扩展：可以在不中断服务的情况下进行容量扩展。
高性能：异步IO和高性能的KeyValue数据TokyoCabinet
可配置的可用性和一致性：通过N,W,R进行配置
简单协议：Memcache兼容协议，大量可用客户端

性能

在小数据集上，它跟memcached一样快：

网址
主页：http://code.google.com/p/beansdb/
SVN源码: http://beansdb.googlecode.com/svn/trunk/

bpython, A fancy interface to the Python interpreter

nospam@example.com (rollenc) — Tue, 29 Dec 2009 14:38:29 +0800

bpython is a fancy interface to the Python interpreter for Unix-like operating systems (I hear it works fine on OS X). It is released under the MIT License. It has the following features:

In-line syntax highlighting.
Readline-like autocomplete with suggestions displayed as you type.
Expected parameter list for any Python function.
"Rewind" function to pop the last line of code from memory and re-evaluate.
Send the code you've entered off to a pastebin.
Save the code you've entered to a file.
Auto-indentation.

Install:



$ sudo apt-get install python-pygments

$ curl http://bpython-interpreter.org/releases/bpython-0.9.5.2.tar.gz

$ tar zxvf bpython-0.9.5.2.tar.gz

$ cd bpy*

$ sudo python setup.py install

Or use easy_install simplely,



$ sudo easy_install bpython

Usage:



$ bpython

Sceenshot:

For more, see the bpython home or just skip right to the screenshots.

Serendipity 1.5 发布

nospam@example.com (rollenc) — Tue, 22 Dec 2009 13:26:54 +0800

原文： http://blog.s9y.org/archives/211-Serendipity-1.5-released.html

Serendipity团队很自豪的发布了Serendipity 1.5版本。之前的beta版本在多数情况下都能正常工作，现在是最终发布的时候了：）
The Serendipity Team is proud to present the final release of Serendipity 1.5. While the earlier beta versions are proven to work fine for many people, it was finally time to package up a real release. ;)

本版本改变了密码存储机制，使用salted后的SHA1代替了原来简单的MD5编码。这一改变后，黑客将无法通过数据库破解原密码。另一个改变是增加了PHP5.3的兼容性。
This version mainly addresses login security by changing our method how passwords are stored to use salted SHA1 checksums instead of plain MD5 checksums. This makes password retrieval (rainbow attacks, see special blog posting) through the database virtually impossible. Another thing is improved PHP 5.3 compatibility.

对于使用Xinha 所见即所得编辑器的用户来讲，现在可以通过自定义"my_custom.js"来修改编辑器面板的样式了。该文件在template目录下（在htmlarea/子目录下我们已经准备了一个默认的草稿文件供你参考或还原）。
For users of our Bundled WYSIWYG-Editor Xinha users now have the ability to easily customize the appearance of this panel through a "my_custom.js" file inside the template directory (a draft of such a file can be found as fallback default in the htmlarea/ subdirectory).

我们给开发者提供了一个很酷的新功能，在模板中可以注册插件API，来执行一些特殊的需求。本功能不需要安装任何事件组件。
One cool new feature for developers is that now also templates can register themselves inside the plugin API hooks to execute specific things, that don't require installation of an event plugin.

其他新的内容：
新的事件API钩子
修正了PDF缩略图
拖拽组件时，边框将可以自动滚动调整
支持UTC时区
增强了Smarty函数，将S9Y打造成CMS江更为简单
快速搜索中，如果返回结果过少，将启用通配符搜索 (译者注：这个功能使得S9Y支持中文搜索了)
在Akismet新支持Typepad 反垃圾邮件验证
Other news include:
new event API hooks
fixed PDF thumbnail generation
ability to auto-scroll on borders when Drag/Dropping plugins
UTC server time zone support
improvements in the Smarty functions to easier use Serendipity as a CMS for individual entry output.
quicksearch improvements for doing a wildcard-search when too few searchresults were found on a fixed searchterm
support for Typepad anti-spam server-checks, additionally to Akismet

在1.5beta-1之后的主要更新包括：
兼容PHP5.3.0
禁止上传含有.PHP.的文件，避免apache启用 MimeMagic-Modules产生的安全漏洞
实验PDO,支持SQLite
改进了评论管理，增加了一些有用的工具

Minor improvements since the 1.5-beta1 release:
more PHP 5.3.0 compatibility improvements
Disallow uploading any files that contain ".php." in the filename for extra security with Apache MimeMagic-Modules
expermiental PDO:SQlite support
usability improvements for the comment moderation panel (bottom-navigation, removed border increase)

之前的各个版本可以很容易的升级到最新的版本。解压，上传，然后访问你的管理面板进行数据库升级就可以了。在使用旧密码进行第一次登录后，S9Y将使用新的格式存储你的密码。在更新之前，请先做好备份，并认真阅读升级文档。
The current release can be easily installed on any previous Serendipity installation. Just unpack, upload and visit your admin panel to perform possible database upgrades. Upon first login with an old password, Serendipity will store your old password in the new format - please be sure to make a backup of your Database prior to upgrading, and read the upgrade pointers on Upgrading Serendipity.

祝你使用S9Y愉快。有任何问题，请将它发布到我们的论坛上。
Have fun using Serendipity, and let us know on the Forums if you have any issues!

How to Install Trac & MySQL & Subversion & Nginx

nospam@example.com (rollenc) — Fri, 18 Dec 2009 03:25:39 +0800

My Env:
Ubuntu 8.04
python 2.5

Step:
1. sudo apt-get install python-subversion python-mysqldb
2. sudo easy_install Trac
3. sudo useradd trac
4. sudo su trac
5. trac-admin /home/trac/luochunhui.com initenv

Project Name [My Project]> Blog
Database connection string [sqlite:db/trac.db]> mysql://username:password@localhost/trac
Repository type [svn]> svn
Path to repository [/path/to/repos]> /home/svn/blog

6. nohup tracd --port 8290 -b trac.luochunhui.com /home/trac/luochunhui.com/ &
7. exit
visit trac.luochunhui.com:8290

Next: auth & use nginx

8. sudo su tracd
9. cd /home/trac
10. trac-admin luochunhui.com/ permission remove anonymous BROWSER_VIEW CHANGESET_VIEW FILE_VIEW LOG_VIEW MILESTONE_VIEW REPORT_SQL_VIEW REPORT_VIEW ROADMAP_VIEW SEARCH_VIEW TICKET_VIEW WIKI_VIEW TIMELINE_VIEW
11. trac-admin luochunhui.com/ permission add authenticated BROWSER_VIEW CHANGESET_VIEW FILE_VIEW LOG_VIEW MILESTONE_VIEW REPORT_SQL_VIEW REPORT_VIEW ROADMAP_VIEW SEARCH_VIEW TICKET_VIEW WIKI_VIEW TIMELINE_VIEW
12. htpasswd -c conf/trac.htpasswd username
13. killall tracd
14. nohup tracd --port 8290 -b trac.luochunhui.com /home/trac/luochunhui.com --basic-auth="*",/home/trac/luochunhui.com/conf/trac.htpasswd,trac.luochunhui.com &
15. exit //exit trac user
14. sudo vi /etc/nginx/sites-available/trac.luochunhui.com



upstream trac_rollenc {

	server trac.luochunhui.com:8290;

}



server {

	listen 80;

	server_name trac.luochunhui.com;

	access_log /var/log/nginx/trac.access.log main;

	error_log /var/log/nginx/trac.error.log info;

	location / {

		proxy_pass http://trac_rollenc;

	#	include         /etc/nginx/proxy.conf;

	}

}

15. sudo ln -sf /etc/nginx/sites-available/trac.luochunhui.com /etc/nginx/sites-enable/trac.luochunhui.com
16. sudo nginx -t
17. sudo /etc/init.d/nginx restart

visit trac.luochunhui.com
and you will see some error message because the anonymous is deny.
click "login" and input your username and password.
Enjoy it.

ALL DONE.

MySQL prepared statements VS Direct execution

nospam@example.com (rollenc) — Wed, 02 Dec 2009 05:29:35 +0800

1. Cache
Direct execution can use MySQL cache when two sqls are the absolutely same .
Prepared execution can't use MySQL cache, even if no placeholders were employed.

2. Speed
Direct execution query need to be parsed every time.
Prepared execution query is parsed only once.

Prepared statements might not provide a performance increase in some situations. For best results, test your application both with prepared and nonprepared statements and choose whichever yields best performance.

3. Network
Direct execution sends all the query to MySQL services.
Prepared execution sends twice, The first is for prepared query, then the arguments.
If you call a prepared more than once, prepared execution can reduce the network traffic.

4. Safe
Direct execution might cause a sql inject if the programmer doesn't handle the unsafe input rightly and carefully.
Prepared execution is safe because the query and the arguments are split.

Ref:
1. http://dev.mysql.com/doc/refman/5.0/en/c-api-prepared-statements.html
2. http://dev.mysql.com/doc/refman/5.0/en/query-cache-operation.html

popen实现PHP并发方法

nospam@example.com (rollenc) — Sat, 25 Apr 2009 01:20:49 +0800

用途: 当业务需要调用一个比较耗时外部资源时使用，最常见的是从外部API获取相关内容

使用方法：
1. 建立外部资源脚本。如示例中使用t.sh。当然，也可以直接使用curl等命令行
2. 准备好参数，提供给pipe脚本
2. 使用ｐｏｐｅｎ调用脚本。调用之后，就不用关心了。
3. 开始其他的和pipe不相关的逻辑处理
4. 其他处理完成之后，使用fgets等方式，获取ｐｏｐｅｎ的数据

示例代码：

php程序：



# get argument for pipe here if it has.



#start pipe

echo 'call ｐｏｐｅｎ start: '. date("H:i:s"), "\n";

$pipe = ｐｏｐｅｎ(dirname(__FILE__) . '/t.sh', 'r');

echo 'call ｐｏｐｅｎ end: '. date("H:i:s"), "\n";



#Other code here

sleep(5);

echo "Here is my code. time: " . date("H:i:s"), "\n";



#read pipe result

while ($s = fgets($pipe,1024)) {

    echo $s;

}

pipe脚本：



echo 1, `date +%T`;

sleep 1;

echo 2, `date +%T`;

sleep 10;

echo 3, `date +%T`;

输出如下：



call ｐｏｐｅｎ start: 10:16:40

call ｐｏｐｅｎ end: 10:16:40

Here is my code. time: 10:16:45

1, 10:16:40

2, 10:16:41

3, 10:16:51

代码方面，我们有三个sleep。
php中一个 sleep 5,
sh中两个sleep， 10＋1
如果使用串行的方式，那么用时应该是10＋1＋5 ＝ 16秒。
而使用pipe方式，用时仅为：max(php, pipe) = max(5,11) = 11秒。

PS:很抱歉，空间服务商看起来不喜欢ｐｏｐｅｎ这个字眼，　所以只能将起替换成全角的了。请在使用时，替换一下吧：）

Subversion迁移方法

nospam@example.com (rollenc) — Sun, 19 Apr 2009 11:26:33 +0800

由于服务器修改，或者备份的原因，你可能需要对Subversio的源进行迁移。
迁移方法有几中。最直接的是将库文件直接copy到新的位置就好。
如果原来的svn版本和新的svn版本不一样的话，这样迁移并不是很安全。

更安全的方式也很简单，如下：

1. 导出：
svnadmin dump ~/svn/dede > svndump

2. 将svndump文件copy到新的位置

3. 导入dump文件：
svnadmin load /home/svn/dede < svndump

完成

Thrift安装

nospam@example.com (rollenc) — Fri, 20 Mar 2009 11:28:00 +0800

1. 安装依赖的包
sudo apt-get install libboost-dev automake libtool flex bison

2. 安装ruby， gem
sudo apt-get install ruby rubygem ruby1.8-dev

3.下面make时需要require mkmf,需要sys-proctable
sudo gem install sys-proctable

4. 下载thrift，解压
wget -O thrift.tgz "http://gitweb.thrift-rpc.org/?p=thrift.git;a=snapshot;h=HEAD;sf=tgz"
tar -xzf thrift.tgz
cd thrift

4. 安装
./bootstrap.sh
CONFIG_SHELL=/bin/bash ./configure --pref-x=/opt
make && sudo make install

VIM for php

nospam@example.com (rollenc) — Fri, 20 Mar 2009 00:50:15 +0800

vim的确是个好东西。简单又快捷。针对在Vim编辑PHP文件，以下是在Ubuntu中的Vim安装及配置：

1. sudo apt-get install vim
2. sudo vi /etc/vim/vimrc
根据vimrc中的提示，Uncommenting一些需要的配置。支持PHP主要需要解除注释的有以下几处：

'打开语法高亮
syntax on

'记录上次文件的编辑位置
if has("autocmd")
au BufReadPost * if line("'\"") > 0 && line("'\"") <= line("$")
\| exe "normal! g'\"" | endif
endif

'自动识别文件类型
if has("autocmd")
filetype indent on
endif

PHP Quebec 2009 PHP全球聚会PPT

nospam@example.com (rollenc) — Wed, 11 Mar 2009 05:25:58 +0800

PHP全球聚会在加拿大举行，目前已经有一些PPT和文档出来了。
先睹为快：

Objects for the Masses
Marcus Borger - Worst PHP Practice 糟糕的PHP实践
Chris Hartjes - Deployment is not a 4 Letter Word 部署并不是一句话就能搞定的问题
Fabien Potencier - Symfony 2
Ilia Alshanetsky - Common optimization MistakesPHP优化误区优化可以先从硬件，系统， PHP扩展，数据库方面依次展开，而不仅仅只是优化PHP代码
Marcus Borger - Objects for the Masses
PHP Extension Writing, PHP扩展编写
Stefan Priebsch - Managing the Software Life Cycle of PHP Applications PHP软件开发的生命周期

Cache之Mysql, Memcached, File比较

nospam@example.com (rollenc) — Wed, 11 Feb 2009 07:31:54 +0800

今天对几种缓存存储器进行了对比。发现最快的存储还是硬盘。当然，硬盘是很强悍的硬盘: SAS 15K。

对比数据：

Mysql:5.8483519554138
Memcached: 2.5365290641785
File: 0.48778581619263

测试环境：
Mysql5 局域网
Memcached 局域网
File 本机器
PHP5.1.6 测试代码使用PHP运行。均为原生函数 mysql_query, memcache_get, file_get_contents

测试循环次数：
10K

机器配置： CPU 2.8x4
内存 8G
硬盘 SAS 15K

如果不需要考虑多服务器共享，还是file cache来得方便来得快。
补上测试代码
测试代码如下，头部有mysql和memcache的连接工作，略去。

        echo "Mysql Primary:";
        $startTime = microtime(1);
        
        for($i=0; $i<10000; $i++) {
                $result = mysql_query("select * from Cache Where ID = ".$i);
                $thread = mysql_fetch_row($result);
        }
        echo microtime(true) - $startTime;
        
        echo "\n";
        
        echo "Memcached: ";
        
        $startTime = microtime(1);
        for($i=0;$i<10000;$i++) {
        if(! $thread = memcache_get($memcache_obj, 'sdfsdafsdaf'.$i)) {
        //echo 'Nerver got here';
        $result = mysql_query("select * from Cache Where ID = ".$i);
        $thread = mysql_fetch_row($result);
        if($thread == null) {
        $thread = 'Missing';
        }
        memcache_set($memcache_obj, 'sdfsdafsdaf'.$i, $thread, null, 30);
        }
        }
        echo microtime(true) - $startTime;
        
        echo "\n";
        
        echo "File: ";
        $startTime = microtime(1);
        for($i=0;$i<10000;$i++) {
                if(! $thread = unserialize(file_get_contents('cache/'.'sdfsdafsdaf'.$i . '.cache'))) {
                        //echo 'Nerver got here';
                        $result = mysql_query("select * from Cache Where ID = ".$i);
                        $thread = mysql_fetch_row($result);
                        if($thread == null) {
                                $thread = 'Missing';
                        }
                        file_put_contents('cache/'.'sdfsdafsdaf'.$i . '.cache', serialize($thread));
                }
        }
        
        
        echo microtime(true) - $startTime;
        
        echo "\n";

Nginx代理服务器

nospam@example.com (rollenc) — Thu, 08 Jan 2009 14:30:20 +0800

我的本博客由Dreamhost提供空间. 但部分教育网同学无法访问到或速度极慢.于是产生了一个使用Nginx建立代理服务器 cn.luochunhui.com的想法

设置原理:
用户访问cn.luochunhui.com(上海S1) => S1访问www.luochunhui.com(美国S2) => S2返回内容给S1 => S1返回内容给用户.

设置方法:
增加Nginx配置文件:



#file: /etc/nginx/sites-enabled/cn.luochunhui.com 

server {

	listen   80;

	server_name  cn.luochunhui.com;



	access_log  /var/www/logs/cn.luochunhui.com_access.log;



	location /robots.txt {

		root   /home/rollenc/luochunhui.com;

	}



	location / {

  		proxy_pass http://www.luochunhui.com;

	}



}

其中有一段关于 robots.txt 的设置. 是关于SEO方面的. 在代理服务器上设置了一个 robots文件, 告诉蜘蛛别爬cn域.