Install Python2.5 on Ubuntu 11.04 x86_64 for Google App Engine

之前所提的「Install Python2.5 on Ubuntu 10.04 i386 for Google App Engine」，主要是在 i386 Ubuntu 的安裝方式。我這一次換了電腦，也裝了 Ubuntu 11.04 amd64 的版本，所以安裝方式有些許不同：

1. 系統內建的 sqlite 函式庫無法連結。
2. 某些 .so 檔不再放在 /usr/lib ，而是在 /usr/lib32, /usr/lib64, /usr/lib/x86_64-linux-gnu 等地。

另外在安裝 python2.5 時，也想順便套上 readline 及 ipython 。以下是安裝過程：

先裝上 Ubuntu 內建的函式庫：

$ apt-get install liblcms1-dev zlib1g-dev libfreetype6-dev libjpeg62-dev libsqlite3-dev libssl-dev tk-dev libreadline-dev

安裝 sqlite3：

$ cd sqlite-autoconf-3070603/
$ ./configure --prefix=/usr/local/sqlite3 --enable-readline --enable-threadsafe --enable-dynamic-extensions
$ make && sudo make install

安裝 Python2.5.6：

$ cd Python2.5.6/
$ ./configure --prefix=/usr/local/python25 --with-zlib -with-zlib-library=/usr/lib/x86_64-linux-gnu --with-zlib-include=/usr/include --with-tk --with-tk-library=/usr/lib32 --with-tk-include=/usr/include --with-tcl --with-tcl-library=/usr/lib32 --with-tcl-include=/usr/include --libdir=/usr/local/sqlite3/lib --includedir=/usr/local/sqlite3/include --with-freetype2 --with-jpeg --with-readline
$ make && sudo make install

安裝 ipython

$ cd ipython/
$ sudo /usr/local/python25/bin/python2.5 setup.py install

安裝 GAE 相依模組 ipaddr：

$ cd ipaddr-2.1.1/
$ sudo /usr/local/python25/bin/python2.5 setup.py install

安裝 GAE 相依模組 python-ssl：

$ cd python-ssl-1.15/
$ cp -rf ../Python2.5.6/Include/* /usr/local/python25/include/ # 需要 Python 源碼
$ sudo /usr/local/python25/bin/python2.5 setup.py install

安裝 PIL：

修改 Imaging-1.1.7/setup.py 中的參數如下：

TCL_ROOT = '/usr/lib32'
JPEG_ROOT = '/usr/lib32'
ZLIB_ROOT = '/usr/lib/x86_64-linux-gnu/'
TIFF_ROOT = '/usr/lib32'
FREETYPE_ROOT = '/usr/lib32'
LCMS_ROOT = '/usr/lib32'

檢查模組是否可使用

$ /usr/local/bin/python2.5 setup.py build_ext -i

測試模組

$ /usr/local/bin/python2.5 selftest.py

看到如下訊息，就代表模組皆有支援

　--- PIL CORE support ok
　--- TKINTER support ok
　--- JPEG support not installed
　--- ZLIB (PNG/ZIP) support not installed
　--- FREETYPE2 support ok
　--- LITTLECMS support ok

再執行

$ sudo /usr/local/python25/bin/python2.5 setup.py install

最後，再把 dev_appserver.py, appcfg.py 中的 #!/usr/bin/env python 改成 #!/usr/bin/env python2.5 即可(也不是必須的，只要你知道執行 GAE server 時是用 python2.5 就夠了)。

完成後就可以在 Ubuntu 11.04+ x86_64 中開發 GAE 程式了。

「股票隨便買然後長抱」是會賺錢? 就跟擲銅板的玩法一樣!

學弟一直不相信我說的：「現在有閒錢(也就是說別拿學費來買)，就是買股票，買什麼? 0050 ! 因為他們現在只能存小錢，所以現在買 0050 的零股就夠了。等到湊成 20 萬以上，再來股票市場中隨便買(註1)，好公司也買，爛公司也買，類別愈多，家數愈多，這人生的金融投資策略也就夠了。」

學弟為什麼不相信呢? 我想是這個方法太簡單了，不用分析公司基本面，不用知道它們是幹什麼的，不看技術線型，這對我們『愛研究』的研究生來說，太沒挑戰性了，而且這樣買股票都能賺錢，實在太沒天理了。

但是我在唸大學時，可是廢寢忘食地研究公司基本面，研究技術線型，搞到後來，自己覺得都可以去考證券/期貨營業員執照了，結果還是把錢賠光光，這難道有天理嗎?

閱讀更多…

使用「公認機構簽核公錀」所發生的不知名問題

在 How to get a free HTTPS web certification authority by StartSSL.com 一文中，我申請了 A.hoamon.info 的公錀簽核，也正確地跑在 https 上，在使用瀏覽器觀看時，完全沒有問題。然而在 hg 軟體上，卻會發生 SSL: Server certificate verify failed. 的錯誤訊息，從 Mercurial on Windows vs Linux, spot the problem 一文中，作者解釋是 Windows 的 ssl 版本太舊的原因，但照他的解決方案處理，我的 hg 軟體卻是報 URLError. 錯誤。

後來在檢查 apache.conf 時發現，這台機器有三個 https 站台，一個是用 A.hoamn.info 的公錀，另外兩個 B, C 站台卻都是用 whatever.hoamon.info 的公錀。而 B, C 站台的設定檔寫得比 A.hoamon.info 站台還前面。所以試著調動 A.hoamon.info 到 B, C 站台設定的前面，結果 hg 軟體就正常了。

問題是解決了，但我反而混亂了。印象中， https 協定中，公錀是在 IP 層(或表現層，我不確定)就發送至使用者的瀏覽器，既然沒到應用層，則網頁伺服器就不知道該拿那一個虛擬站台的公錀給使用者，於是它總是拿第一個看到的公錀(也就是寫在最前面的)，所以這篇教學文章，才會寫到：「…一個 Apache ，也只能架一個 SSL 站，用一個站名。除非妳跑很多份 Apache ，各自跑在不 同的 IP 或不同的 TCP 埠上，才能在同一臺伺服 器上，跑好幾個 SSL 站。」

實際上，在 Windows XP 的 IE, Safari 上觀看 A, B, C 三個站台，也的確都是拿到 A.hoamon.info 的公錀。但在 Chrome, Firefox 上，卻是看到 A 用 A.hoamon.info ，但 B, C 用的是 whatever.hoamon.info 的公錀。

這我頭大了，為什麼跟基本原理不一樣??? 還是因為某些瀏覽器有「重拿公錀的機制」存在???

破了我個人的紀錄： 以 59 分 58 秒完成 10 公里路跑

今天(2011-04-23)，第一次在 60 分鐘內跑完了 10 公里。

最大的不同在於使用小跨步的跑法，雖然步頻要加快，心跳數也比大跨步高(* 1)。不過，對肌肉而言比較輕鬆，所以在尾段時，還能用更快速度前進。

註1 使用 ALATECH 的心率計觀察每分鐘心跳數。

From Taitung Triathlon

How to get a free HTTPS web certification authority by StartSSL.com

一般在上網時，所用的 Http 協定是明碼的，使用者與網站伺服器之間的任何網路結點(閘道器)都有方法可以看到網路連線所傳遞的訊息，所以如果網站所提供的服務關係到機密(隱私)資料時，我都會讓網站用 Https 加密協定服務。

使用 Https 服務時，有一個重要觀念： 如何拒絕「中間人攻擊」。

假想一個以 Https 加密協定服務的 A 網站，在它與使用者傳遞公錀(加密憑證)時，是被一個中間人接走，而中間人再把它自己的公錀傳遞給使用者，結果使用者傻傻地使用中間人的公錀加密，再把加密資訊傳到中間人，而中間人用自己的私錀解密後，再用 A 網站公錀加密傳回 A 網站，在這個模式，雖然使用的是 Https 協定，但資料還是被中間人看光光了。

所以要防止此類攻擊，就必須讓使用者能「確認」公錀真的是 A 網站的。方法是使用者自己手頭上要有一些公認機構所發行的公錀憑證(一般的瀏覽器都已經包入)，然後在拿到 A 網站的公錀憑證時，用手頭上已有的公認機構公錀憑證去驗證這個 A 網站的公錀憑證是否被這些公認機構簽核過，如果有，則表示公錀的確就是 A 網站的，當使用者用這把公錀加密時，就只能被 A 網站解密。

本篇文章的目的是站在 A 網站的立場上，如何將 A 網站的公錀交給公認機構作簽核，這樣使用者在瀏覽 A 網站時，才不會跳出一個警示視窗告知使用者：「 A 網站有安全疑慮」。

一般將公錀交給公認機構去作簽核是要花錢的，像是國內最大的簽證公司(我猜的)網際威信最便宜的簽核年費是 18000 元。這筆費用不是每個人願意負擔的，像是我的 https 網站，主要是提供我們團隊作專案管理之用，也就不到 10 位的使用者，要我花 18000 元，去買一個「讓使用者在一年之內不會看到該網站有安全疑慮」的警告訊息，這我可花不下手。

所幸，有公認機構了解這種需求，它以「給非商業網站一年免費」作廣告宣傳，如果有更高級的簽核需求，它才額外收費。那麼以我上述所要的，其實就拿那個「一年免費」用用即可。

首先請使用 Firefox (它們目前不支援 Chrome)去瀏覽 http://www.startssl.com/ ，並點選右上角的錀匙圖示，如下圖：

就能看到 Sign-up 按鈕，如下圖：

按下 Sign-up 按鈕就開始註冊帳戶的流程，整個公錀簽核的程序分成三個階段：

1. 註冊帳戶
2. 驗證網址
3. 公錀簽核

1. 註冊帳戶時， startssl 會給你的瀏覽器一個全新的公私錀檔，這個公私錀檔是專供你的帳戶使用的，這個公私錀檔要好好保管，搞丟了，你就不能再用這個帳戶申請簽核的動作，因為它的登入不是用帳號密碼作登入機制，而是用公私錀作登入機制。

2. 驗證網址，你必須證明要作簽核的網址是你所管理的。而這個驗證動作完成後，你也只有 30 天的期限去作簽核它的公錀，過期後，就必須再次驗證網址。

3. 針對已驗證過的網址，你可以申請簽核公錀的動作，主要分兩種作法，一是 startssl 完全生出一把全新的公私錀憑證; 二是我們自己生出私錀及公錀請求檔，再把公錀請求檔交給 startssl 去作出已簽核的公錀。本文是介紹第二種方法，因為私錀應該是自己處理會比較妥當，不要懶惰到連解密錀匙也委託他人製造，我個人認為這種人不只懶還不負責任。

原則上，公錀不過是一個文字檔，所以它在 Linux, Window$, Mac 作業系統下，都能處理，但我個人還是喜歡用 Linux 來作這件事。

1. 註冊帳戶：

請填寫你的詳細資料，原則上，他們只採 web 審核，所以只要你的資料不要「太假」，他們都會通過。但如果你要為商業網站申請憑證的話，這就不能開玩笑了，因為你買憑證時，它會要你給護照及身份證、駕照的文件作審核。

請到註冊信箱接受具驗證碼的信。並注意「目前的這個視窗」是不允許關閉的，如果你關閉當下這個網頁，再用相同連結回來，這樣你填寫的驗證碼就算是對的，它也不會通過你的申請。

產生「帳戶」專用的公私錀檔，可選擇 Hign Grade 。

將公私錀檔安裝至瀏覽器上，這裡的公私錀檔是指你的帳戶與 startssl 網站溝通時，所用的公私錀檔，而不是你的網站要用的公錀。

建議你備份這份公私錀檔。

完成後，可見到帳戶頁面。

2. 驗證網址：

我是選擇 Domain Name Validation 方式。

填入網址。

startssl 會從 whois 資料中抓出管理員信箱，所以你必須確認該網址的 whois 內容是正確的。

請到信箱收取驗證碼。並填入上面的 Verification Code 中。

成功後，你只有 30 天的時間，去簽核該網站的公錀檔。

3. 簽核公錀：

公錀可以有很多種用途( Email/XMPP/Object Code )，但目前我只需要 Web 的，所以選擇 Web Server SSL/TLS certificate 。

要使用自己獨立生成的私錀來作簽核公錀的動作，請選擇 Skip 。

欲生成長度為 4096 bits 的私錀檔並使用 des3 格式作私錀加密(密碼長度要大於 4 個字元)，請使用如下指令：

# openssl genrsa -des3 -out exmple.com.key 4096
Generating RSA private key, 4096 bit long modulus
................................................................................................................................................................++
...............................................++
e is 65537 (0x10001)
Enter pass phrase for exmple.com.key:
Verifying - Enter pass phrase for exmple.com.key:

從新增的私錀中，產生一個憑證請求檔，並在請求檔中，寫入「目標網址」(也就是你剛驗證過的那個網址)的所屬資料，如：所在地、單位名稱、負責人信箱等：

# openssl req -new -key exmple.com.key -out exmple.com.csr
Enter pass phrase for exmple.com.key:
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:{{TW}}
State or Province Name (full name) [Some-State]:{{Taichung}}
Locality Name (eg, city) []:{{Taichung}}
Organization Name (eg, company) [Internet Widgits Pty Ltd]:{{EXAMPLE-Company}}
Organizational Unit Name (eg, section) []:{{EXAMPLE-Company}}
Common Name (eg, YOUR name) []:{{EXAMPLE Company}}
Email Address []:{{master@exmple.com}}

Please enter the following 'extra' attributes
to be sent with your certificate request
A challenge password []:
An optional company name []:

兩個 {{ }} 所包住的部份，請自己修改成正確資料。

在 Linux 完成 CSR 檔的製作後，你會得到 example.com.csr 檔案，請將檔案內容貼入上圖的文字框中。

CSR檔如無誤，它會出現上圖的訊息。

它要你選擇要生成簽核公錀的頂層網域。

請填入你所提供 https 服務的網址名稱。

確認要簽核公錀的網址。 startssl 簽核的公錀，預設會給你的目標網域及它的頂層網址兩個。如果你要簽核公錀的網址希望是 *.example.com ，也就是除頂層網域外，把它的下層網域一網打盡，也是可以，只要二年付 USD 49.9 即可，大約 1500 元的新台幣，而且這是 wild cards 網址，網際威信可沒這麼好康，一個就要 18000 元、二個就是要 36000 元。這時，我又感到「全球化」的愉悅。

接下來，請把文字框中的文字貼到 example.com.crt 中，這個內容即已被簽核過的公錀檔。另外，請順便下載上圖中的 intermediate 及 root 兩個 CA 檔案。

整個工作完成了。

然後在 Apache 設定檔中設定如下：

SSLEngine on
SSLProtocol all -SSLv2
SSLCipherSuite ALL:!ADH:!EXPORT:!SSLv2:RC4+RSA:+HIGH:+MEDIUM
SSLCertificateFile /etc/apache2/example.com.crt
SSLCertificateKeyFile /etc/apache2/example.com.key
SSLCertificateChainFile /etc/apache2/sub.class1.server.ca.pem
SSLCACertificateFile /etc/apache2/ca.pem
SetEnvIf User-Agent ".*MSIE.*" nokeepalive ssl-unclean-shutdown

重新啟動 Apache 時，它會問你私錀密碼為何? 這個動作在管理員面前發生是沒有問題的，但在系統自動重開機時，會造成困惱，所以我們可移除私錀的加密，指令如下：

# openssl rsa -in exmple.com.key -out exmple.com.key.no_password

exmple.com.key.no_password 這個私錀檔就是沒加密的，將它寫入 apache 設定檔即可。

SSH 的公私錀生成說明

Linux/Mac:

請在命令列鍵入如下指令：

$ ssh-keygen -t rsa -b 4096

Generating public/private rsa key pair.
Enter file in which to save the key (/home/tmp/.ssh/id_rsa): <<按 Enter ，使用預設值>>
Enter passphrase (empty for no passphrase): <<設個私錀密碼，請大於 5 個字元>>
Enter same passphrase again: <<確認剛剛的私錀密碼>>

Your identification has been saved in /home/tmp/.ssh/id_rsa.
Your public key has been saved in /home/tmp/.ssh/id_rsa.pub.
The key fingerprint is:
72:fb:40:ba:8a:40:be:48:03:bd:20:13:6d:83:cb:d0 tmp@core2duo
The key's randomart image is:
+--[ RSA 4096]----+
|                 |
| +               |
|+ A              |
|o= .             |
|*o. T . S        |
|=o .   = .       |
|.-.   . o        |
|o.o.   . o       |
|... ...   .      |
+-----------------+

這樣，你的公錀就是 ~/.ssh/id_rsa.pub 而私錀就是 ~/.ssh/id_rsa 。

$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAgEAz22m/azvKC7uk05/D6qvl5c+QR95jkiqEpnn3/co/zOGc4Gf7v1sc5H7Lf5CUOTxgfgAOZSmdr1OPaUYU1cvJTLTjKeVznifyTl3KabMH1Yy8wpSS1TjCTbS8896uXXYtrdIL5KEHnVADYdS4fHWtY7uAR+JWlbh9OjN3deU77656knwW0PO5ELMYKUicSZZZFoUFyDCflM61cNNP1i/rwa1pp8nFqyjzNOq5hKaEsssiJK4tPcm+5K8rwRXm3k7fprvoxYswebo9U85kvyWPqY0iMFE0P019Pbq5VWCaqfv9nzD7rZaKe+aLk/7n+E4HSSSLYNlhnQkZUVm40zGnhGEZvT0e+kmpJpXJKjAe3ZJkowc3o8xrBjD0ULP+jN1fHMUxllWOuxgNkqdD/UjXf5E777Zw+Fpoy2B1c/wRPpRfsFisfLg9xxj3MF+E3wkHROOtrSv+M2wLKVtDODF4zwO8dr5g9s5xBTlSJFsBCJGmX2+zQ6y2033amRnr/Xl0+KAqCOdO+BmQ+iw7X0DFCfxZtjx4RQXcGYw3HqSKP3I4Tft0IHD0g1HXuQhMezG6yVIVABgbo47+Xbdxx7vFb82Anv7DnmhbOovk3LDrzPzyNe7fS2Jla5T5Etb5jyEHE1qNfJNzKVgxjBMGKGk7L5GIx7pXUk= tmp@core2duo

把上面的公錀內容放到你想登入的 Linux/Mac 機器中的 ~/.ssh/authorized_keys2 (這個檔，其實是看系統管理員是怎麼設定的，只不過一般的 Linux 套件都是用這個作預設值)中，這樣你就能使用這一對公私錀登入遠端機器了。

Windows:

就比較麻煩了，請去下載 puttygen.exe 程式，執行它後如下圖：



選擇 SSH-2 RSA 及輸入 4096 的 Number of bits in a generated key 後，再按下 Generate 按鈕，讓滑鼠停留在綠色生成桿的下方空白處，並胡亂移動滑鼠遊標，讓 puttygen.exe 得到亂數種子，待進度達百分百後，可得到下圖：



選取的藍色文字即公錀內容，請貼到你欲登入的 Linux/Mac 機器中的 ~/.ssh/authorized_keys2 中，而私錀部份，請在設定密碼「Key passphrase」及確認密碼「Confirm passphrase」後，按下 Save private key 按鈕以存檔至系統硬碟。

最後，請保護好你的私錀檔(最好不要離開生成它的機器硬碟)，遺失它或是被別人盜取後的代價相當大。 Good Luck!

CMClass: 簡述 libsvm(Support Vector Machine library) 使用方法

libsvm乃台大林智仁老師開發的 Open source 工具，其目的為實作 Support Vector Machine 分類器，使用語言主要是 C++ ，目前也有 JAVA 版本，也提供其他語言的 wrapper ，像是 Perl, Python, Ruby, Matlab, Hashkell, Lisp 等。

詳細數學就不介紹了，怕大家睡著(但其實是因為還沒看懂)，各位可以看一下下面那段這個影片，大略了解 SVM 分類器如何區別不同資料。



本文章主要介紹的是用 Python 語言去操作 libsvm 函式庫。

先解壓縮 libsvm.tgz 檔，可以看到 python 及 windows 資料夾，如果要在 Linux 中使用的話，請在主目錄中作

$ make lib

這樣會得到 libsvm.so.2 檔，這是 libsvm 的主函式庫，而在 windows 中使用的話，它則是先幫你編譯好這個檔了，可在 windows/ 找到這個 libsvm.dll 檔。

在 Linux 中，請把 python/*py 放到 /usr/local/lib/python2.6/site-packages 中，而 libsvm.so.2 放到 /usr/local/lib/python2.6/ 。

在 windows 中，請把 python/*py 放到 C:\Python26\Lib\site-packages 中，而 libsvm.dll 請放到 C:\Python26\Lib\windows 資料夾中(因為 svmutil.py 寫死了它的相對路徑，所以務必依它的相對位置置放)。

請在 Python shell 中，鍵入下列指令，測試是否安裝成功。

>>> from svmutil import *
>>>

沒錯誤訊息，那就是安裝對了。

使用 svm ，主要就是兩個動作： 訓練及預測。

訓練：

svmutil.svm_train 函式的引數有「類別標籤」、「觀察值」、「參數」。

你的原始資料若是如下：

1. 3, 4, 5, 6 => 第二類
2. 3, 4, 5, 5 => 第一類
3. ....

前面的 #. 表第幾個觀察值，後面逗號分隔的數據為各維度的值，行末則是放置該觀察值為第幾類的說明。請把它轉成

>>> Y = [2, 1, ...]
>>> x = [(3, 4, 5, 6), (3, 4, 5, 5), ...]

類別標籤請獨立放置到一個 list 中，而觀察值維度則依序放置到另一個 list 中。接下來，就能使用 svm_train：

>>> from svmutil import *
>>> model = svm_train(Y, x, '-c 4')

所得到的 model 就是一個經過訓練的分類器。

預測

接下來，我們要拿訓練好的分類器去預測新的觀察值：

>>> p_label, p_acc, p_val = svm_predict([0]*len(new_x), new_x, model)

而 p_label 就是依 new_x 順序所對應的類別標籤 list 。

下圖是我隨機生成的 300 點，圓點為原始的觀察值，而以線相連的連續點則是預測點。



詳細程式碼請參照如下：

 1 #! /usr/bin/python
 2 # -*- coding: utf8 -*-
 3 
 4 __author__="hoamon"
 5 __date__ =u"$2011/4/12 下午 05:52:31$"
 6 
 7 from math import pi, sin, cos
 8 from random import random
 9 from matplotlib import pyplot as plt
10 from svmutil import *
11 
12 def circleData(centre, radius, down_limit_percent=0, lens=100, range=[0, 100]):
13     points = []
14     while len(points) < lens:
15         _angle = 2 * pi * random()
16         radius_percent = random()
17         if radius_percent < down_limit_percent: continue
18         _radius = radius * radius_percent
19         x = centre[0] + cos(_angle) * _radius
20         y = centre[1] + sin(_angle) * _radius
21         if range[0] <= x <= range[1] and range[0] <= y <= range[1]:
22             points.append((x, y))
23     return points
24 
25 
26 def test():
27     u""" 製作三群的隨機資料，每群皆 100 個點，點位置的 x, y 限制在 0 ~ 100 之間
28 
29         最後利用 matplotlib 繪製出來的圖，"單點"表原始資料，而連續點畫線的部份，
30         該點位的類別則是利用 svm_predict 計算出來的。
31 
32         Y = [1, 1, 1, ..., 2, 2, 2, ..., 3, 3, 3, ...]
33         x = [(x1, y1), (x2, y2), ...]
34     """
35     Y = [1] * 100 + [2] * 100 + [3] * 100
36     x1, x2, x3 = (circleData((35, 40), 12),
37         circleData((35, 40), 48, down_limit_percent=0.25),
38         circleData((80, 80), 20)
39         )
40     x = x1 + x2 + x3
41 
42     m = svm_train(Y, x, '-c 4')
43 
44     #INFO 在 100x100 的畫布上，打出 40000 個點，拿這 4 萬個點去給 m 作預測，算出這 4 萬個點的類別
45     points = [(i*0.5, j*0.5) for j in xrange(0, 200) for i in xrange(0, 200)]
46     p_label, p_acc, p_val = svm_predict([0]*40000, points, m)
47 
48     line_1, line_2, line_3, pre_label = [], [], [], p_label[0]
49     for i in xrange(0, 200):
50         for j in xrange(0, 200):
51             index = i * 200 + j
52             now_label = p_label[index]
53             if now_label == 1 :
54                 line_1.append(points[index])
55             elif now_label == 2 :
56                 line_2.append(points[index])
57             elif now_label == 3 :
58                 line_3.append(points[index])
59 
60     fig = plt.figure()
61     ax = fig.add_subplot(111)
62     ax.plot([p[0] for p in x1], [p[1] for p in x1], 'ro')
63     ax.plot([p[0] for p in x2], [p[1] for p in x2], 'go')
64     ax.plot([p[0] for p in x3], [p[1] for p in x3], 'bo')
65     ax.plot([p[0] for p in line_1], [p[1] for p in line_1], 'r-', alpha=0.5)
66     ax.plot([p[0] for p in line_3], [p[1] for p in line_3], 'b-', alpha=0.5)
67     ax.set_title('Points of three classes')
68     ax.set_xlabel('x')
69     ax.set_ylabel('y')
70     ax.set_xlim(0, 100)
71     ax.set_ylim(0, 100)
72     plt.show()
73     return m, p_label, p_acc, p_val
74 
75 
76 if __name__ == "__main__":
77     test()