一、怎么將查詢到的網站后臺數據用最方便的方式導出

網頁下載

為了能夠下載數據并快速批量搜索數據庫中的內容，用python寫一段代碼，用于自動下載網頁文件并導出需要數據到Excel。觀察后發現，網頁鏈接是由前綴和數字組成的形如，https://xxxx./xxxxx.php?id=num,所以，將通過循環語句來完成下載。

import urllib.request#導入插件

#定義函數讀取鏈接

def getHtml(url):

??? html = urllib.request.urlopen(url).read() #調用urllib讀取鏈接

??? return html

?

#定義函數保存網頁

def saveHtml(file_name, file_content):

??? #注意windows文件命名的禁用符，比如 /

??? with open(file_name.replace(‘/’, ‘_’) + “.html”, “wb”) as f:

??????? #寫文件用bytes而不是str，所以要轉碼

??????? f.write(file_content)

?

#設定參數i，i為需要下載的網頁數量

i = 1

for i in range(1,707):

??? aurl = “https://xxxx/xxxx.php?id=” + str(i) #組合形成網頁url

??? html = getHtml(aurl)#調用函數讀取鏈接到html字符串

??? name = “文件” + str(i)#組合形成文件名

??? saveHtml(name, html)#調用函數保存下載鏈接

??? i += 1

?

print(‘下載成功’)

網頁內容分析

網頁共700個，網頁下載下來后，需要進行數據分析提取。為了便于篩選和對比，我決定導出到excel比較方便。

根據分析網頁內容，發現需要提取的內容都是被td標簽所標記的，并且數值總在參量名的下一項，如下所示。

??? 軟磁性能

??????????????????????? 有效磁導率

??????????????????????? 11.00

???????????????????????

所以，我決定調用bs4和pandas庫來完成這項工作。

?

from bs4 import BeautifulSoup

import lxml

import requests

import pandas as pd

import numpy as np

?

#定義讀取網頁文件的函數

def read_html(path):?????????? #讀取單個html到pd

??? htmlfile = open(path, ‘r’, encoding=’utf-8′)#打開地址所在的網頁文件

??? htmlhandle = htmlfile.read()#讀取該網頁文件全文到htmlhandle

??? soup = BeautifulSoup(htmlhandle, ‘lxml’)#調用BeautifulSoup讀取網頁標簽內容

??? td_list = soup.find_all(‘td’)? # 找到所有td標簽

??? #創建三個列表，temporary是臨時列表，result是用來存放帶有td標簽內容的列表，final是我們最終導出的列表

??? result = []

??? final = []

??? temporary = []

??? #將所有的td標簽中的值導入result列表中

??? for d in td_list:

??????? #print(d.string)#實時輸出讀取的值

??????? result.append(d.string) #實時將值保存到列表

?

??? print(len(result)) #輸出result項目數

??? t = 0#創建順序參量t，確保所有標簽都被遍歷

??? for t in range(len(result)):

??????? if? result[t] != None:#確保標簽不是空，防止程序報錯

?????????? if? result[t] == ‘類型’:#比對標簽內容，如果相同就打印下一項（參數）

??????????????? print(result[t+1])

??????????????? temporary.append(result[t+1])#將下一項添加到臨時列表的最后

??? #如果臨時列表不為零，則將臨時列表的內容添加到final列表，否則就在final列表中添加‘無’，確保最終參數順序不會錯

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []#將臨時列表清零

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘成份配比’:

??????????????? print(result[t+1])

??????????????? temporary.append(result[t+1])

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘飽和磁感應強度(T)’:

??????????????? print(result[t+1]+’T’)

????????? ??????temporary.append(result[t+1]+’T’)

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘矯頑力’:

??????????????? print(result[t+1]+’A/m’)

??????????????? temporary.append(result[t+1]+’A/m’)

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘有效磁導率’:

??????????????? print(result[t+1])

??????????????? temporary.append(result[t+1])

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘熱處理溫度’:

??????????????? print(result[t+1])

??????????????? temporary.append(result[t+1]+’℃’)

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘熱處理時間’:

??????????????? print(result[t+1])

?? ?????????????temporary.append(result[t+1]+’min’)

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

??? t = 0

??? temporary = []

??? for t in range(len(result)):

??????? if? result[t] != None:

?????????? if? result[t] == ‘出處’:

??????????????? print(result[t+1])

??????????????? temporary.append(result[t+1])

??? if len(temporary) != 0:

??????? final.extend(temporary)

??? else:

??????? final.append(‘無’)

?

?

??? df = pd.DataFrame(final)#將final轉化為panda數據幀

??? return df???????????????????? #返回參數

?

?

path = ‘./文件1.html’#初始文件路徑

df1 = read_html(path)??????????????? #調用函數

?

number = 700#需要讀取的文件數目

?

for i in range(2,number):#循環讀取余下文件，其中組合參數名使用locals()函數來創建

??? path = “./文件” + str(i) +”.html”

??? locals()[‘df’+str(i)]= read_html(path)#循環創造dfn函數

??? i += 1

?

writer = pd.ExcelWriter(‘./stat.xlsx’, engine=’xlsxwriter’) #創建excel文件,注意路徑中的數/,與windows中的\不同

?

df1.to_excel(writer, sheet_name=’Sheet1′)? # 起始寫入位置, A1列.

?

for i in range(2,number):#利用local()批量調用剛才創建的函數

??? locals()[‘df’+str(i)].to_excel(writer, sheet_name=’Sheet1’, startcol=i,index=None,header=True)

??? i += 1

?

writer.save() #保存文件

?

print(“全部信息爬取完畢，請查看Excel文件”)

延伸閱讀：

二、應用架構是什么

應用架構（Application Architecture）是描述了IT系統功能和技術實現的內容。應用架構分為以下兩個不同的層次：

上一篇

為什么說HADOOP擴展性優于MPP架構的關系型數據庫?

下一篇

WHERE中有很多IN判斷怎么提速?