整個一周的項目，第一天我們就對項目的數據庫以及數據表有了初步的建立，然后后面還有許多模塊需要分工，當然，有些具體的模塊需要完成的功能，都還不甚清楚，因此我們第一天就針對這個web項目做了一個簡單的Django框架的搭建，以及前期項目比較依賴的登錄注冊部分給完善了出來。

    整個項目包含了有：購物車，商品列表頁，商品詳情頁，訂單頁面，支付頁面，個人用戶信息完善頁面，首頁的完善展示和一些小功能，然而我們組有5個人呢，我有身為組長，其中最重要的一部分，商品數據的獲取部分就是由我來做的。

    從第二天開始，我們就開始按照各自的分工開始寫自己的項目了，但是，一旦開始些項目之后，隨之而來的各種問題就出現了，例如商品列表頁面需要一些基礎的數據部分，這些數據是需要我來爬取，具體的商品需要分類，這些商品類型也是需要我首先爬取一部分基礎的測試數據的，還有一部分商品詳情頁的內容也是需要我先爬取一部分基礎測試數據的，因此，我就開始了我的基礎測試數據的爬取。

    我選擇的是爬蟲，因此為了起初為了效率，我是選擇的比較高效率的scrapy框架來爬取數據的，但是，當寫了一段時間代碼之后，發現自己對著一套框架并不熟悉，底層封裝的各種代碼，的用途都不是很熟悉，感覺就是寫代碼根本就是不可控制的，這就很難受，幾經猶豫，最終我轉回了基本的requests模塊，雖說比較基礎，但也還沒到了urllib2的那種程度，因此寫起來也就比較得心應手了，同時感覺可控制性也比較強，一天下來，商品列表的爬取代碼也寫的差不多了，到了爬取數據的時候終于還是出了不少問題。

    比如，再匹配頁面數據的時候，我選擇的是使用Xpath來匹配頁面數據，明明在網頁上使用的xpath查詢工具能夠匹配到數據，可是寫在代碼里面就是匹配不到數據，這個問題一直困擾了，我很長時間，直到我上網百度之后，才發現，有些問題還是自己的問題，當順利解決之后，最終還是選擇了使用正則與Xpath的混合使用完成了商品類型列表的爬取部分。當然，這也是我第二天完成了自己爬取組內基礎測試數據部分的爬取。

    由于我寫的是爬蟲，當項目的數據模型類基本定下來之后，就只需要關心自己的數據問題與數據庫的數據的對應問題就可以了，可是，身為項目小組中的組長，我還是要肩負一部分的責任的，一天下來，組內成員也積累了不少問題，比如，白天在代碼同步的時候，總會有些人因為在提交之前沒有更新，其他人再更新的時候，就會莫名的有一部分代碼被刪掉，這些都是更行代碼不同步的問題，當然，其他問題也在討論的時候得到了一一的解決。

    到了第三天，真正需要完整的爬取整站的數據的時候，終于還是出了不少問題，例如：這次我們的模板是個全英文的電商網站模板，因此，我在爬取國內網站的中文數據，放在一塊就會顯得非常的不倫不類的感覺，在幾經權衡之下，我選擇了爬取國外同樣的一個大型電商網站。

    又經過了一天的奮斗之后，寫完了一套代碼，問題總是在不經意間到來，由于爬的是國外網站的數據，因此爬取數據的時候，效率就異常的低，幾乎是兩三秒爬取一條的商品數據，然而整站的數據算下來幾乎能達到40000條數據，這樣肯定是不行的，何況還要保存，入庫，如果整個爬下來之后再入庫肯定是不行的，首先內存就會不支持，因此，不得已我就考慮會不會是我的代碼的性能問題。

    于是乎，又接下來的一天我就對代碼做了大量的修改，完全改成了多進程多線程式的操作，可是結果仍不盡如人意，效率不見提升，反而又降低了不少，經過跟組員門的討論之后，考慮應該是數據量是固定的，多線程爬取的話，就會造成并發量過大，同時發送的請求量占用了大量的帶寬，導致了下行數據的速度非常緩慢。

    不得已，我又對代碼做了大量的修改，于是乎，第三個版本就是，單純的雙進程，一個寫入數據，一個爬取數據，這樣下來，效率倒也還好，但是也就跟剛開始差不多，就這樣爬取了一整天，期間跟其他組員共同完成了許多其他難以解決的問題。

    問題的出現總是不可避免的，出現了就要解決，這次的問題就是，爬了整天的數據，到最后，一直只是寫入，卻并沒有保存，因此到了最后需要加快進度，于是就又一次修改代碼，在爬取數據 的時候，沒爬取一類自動保存一次，當然，為了不重復爬取，同時增加了指紋集合的功能，這次總算能有一部分數據了。

    當然，最后肯定不能就這樣草草結束，項目還并不完整，結束以后，一些細節以及數據，仍然需要完成。總體來說，在此次項目中，我們小組雖說經歷了各種困難，但我們都憑借各種途徑解決掉了，增加了項目協同開發的經驗的同時，我也覺得這就是一種自我提升的手段，相信對以后自己的工作中會有很大的用處的。