本文正體字版由OpenCC轉換
在競賽中，遇到大數據時，往往讀文件成了程序運行速度的瓶頸，需要更快的讀取方式。相信幾乎所有的C++學習者都在cin機器緩慢的速度上栽過跟頭，於是從此以後發誓不用cin讀數據。還有人說Pascal的read語句的速度是C/C++中scanf比不上的，C++選手只能乾着急。難道C++真的低Pascal一等嗎？答案是不言而喻的。一個進階的方法是把數據一下子讀進來，然後再轉化字符串，這種方法傳說中很不錯，但具體如何從沒試過，因此今天就索性把能想到的所有的讀數據的方式都測試了一邊，結果是驚人的。
競賽中讀數據的情況最多的莫過於讀一大堆整數了，於是我寫了一個程序，生成一千萬個隨機數到data.txt中，一共55MB。然後我寫了個程序主幹計算運行時間，代碼如下：
#include <ctime>
int main()
{
int start = clock();
//DO SOMETHING
printf("%.3lf\n",double(clock()-start)/CLOCKS_PER_SEC);
}
最簡單的方法就算寫一個循環scanf了，代碼如下：
const int MAXN = 10000000;
int numbers[MAXN];
void scanf_read()
{
freopen("data.txt","r",stdin);
for (int i=0;i<MAXN;i++)
scanf("%d",&numbers[i]);
}
可是效率如何呢？在我的電腦Linux平臺上測試結果爲2.01秒。接下來是cin，代碼如下
const int MAXN = 10000000;
int numbers[MAXN];
void cin_read()
{
freopen("data.txt","r",stdin);
for (int i=0;i<MAXN;i++)
std::cin >> numbers[i];
}
出乎我的意料，cin僅僅用了6.38秒，比我想象的要快。cin慢是有原因的，其實默認的時候，cin與stdin總是保持同步的，也就是說這兩種方法可以混用，而不必擔心文件指針混亂，同時cout和stdout也一樣，兩者混用不會輸出順序錯亂。正因爲這個兼容性的特性，導致cin有許多額外的開銷，如何禁用這個特性呢？只需一個語句std::ios::sync_with_stdio(false);，這樣就可以取消cin於stdin的同步了。程序如下：
const int MAXN = 10000000;
int numbers[MAXN];
void cin_read_nosync()
{
freopen("data.txt","r",stdin);
std::ios::sync_with_stdio(false);
for (int i=0;i<MAXN;i++)
std::cin >> numbers[i];
}
取消同步後效率究竟如何？經測試運行時間銳減到了2.05秒，與scanf效率相差無幾了！有了這個以後可以放心使用cin和cout了。
接下來讓我們測試一下讀入整個文件再處理的方法，首先要寫一個字符串轉化爲數組的函數，代碼如下
const int MAXS = 60*1024*1024;
char buf[MAXS];
void analyse(char *buf,int len = MAXS)
{
int i;
numbers[i=0]=0;
for (char *p=buf;*p && p-buf<len;p++)
if (*p == ' ')
numbers[++i]=0;
else
numbers[i] = numbers[i] * 10 + *p - '0';
}
把整個文件讀入一個字符串最常用的方法是用fread，代碼如下：
const int MAXN = 10000000;
const int MAXS = 60*1024*1024;
int numbers[MAXN];
char buf[MAXS];
void fread_analyse()
{
freopen("data.txt","rb",stdin);
int len = fread(buf,1,MAXS,stdin);
buf[len] = '\0';
analyse(buf,len);
}
上述代碼有着驚人的效率，經測試讀取這10000000個數只用了0.29秒，效率提高了幾乎10倍！掌握着種方法簡直無敵了，不過，我記得fread是封裝過的read，如果直接使用read，是不是更快呢？代碼如下：
const int MAXN = 10000000;
const int MAXS = 60*1024*1024;
int numbers[MAXN];
char buf[MAXS];
void read_analyse()
{
int fd = open("data.txt",O_RDONLY);
int len = read(fd,buf,MAXS);
buf[len] = '\0';
analyse(buf,len);
}
測試發現運行時間仍然是0.29秒，可見read不具備特殊的優勢。到此已經結束了嗎？不，我可以調用Linux的底層函數mmap，這個函數的功能是將文件映射到內存，是所有讀文件方法都要封裝的基礎方法，直接使用mmap會怎樣呢？代碼如下：
const int MAXN = 10000000;
const int MAXS = 60*1024*1024;
int numbers[MAXN];
char buf[MAXS];
void mmap_analyse()
{
int fd = open("data.txt",O_RDONLY);
int len = lseek(fd,0,SEEK_END);
char *mbuf = (char *) mmap(NULL,len,PROT_READ,MAP_PRIVATE,fd,0);
analyse(mbuf,len);
}
經測試，運行時間縮短到了0.25秒，效率繼續提高了14%。到此爲止我已經沒有更好的方法繼續提高讀文件的速度了。回頭測一下Pascal的速度如何？結果令人大跌眼鏡，居然運行了2.16秒之多。程序如下：
const
MAXN = 10000000;
var
numbers :array[0..MAXN] of longint;
i :longint;
begin
assign(input,'data.txt');
reset(input);
for i:=0 to MAXN do
read(numbers[i]);
end.
爲確保準確性，我又換到Windows平臺上測試了一下。結果如下表：
| 方法/平臺/時間(秒) | Linux gcc | Windows mingw | Windows VC2008 |
| scanf | 2.010 | 3.704 | 3.425 |
| cin | 6.380 | 64.003 | 19.208 |
| cin取消同步 | 2.050 | 6.004 | 19.616 |
| fread | 0.290 | 0.241 | 0.304 |
| read | 0.290 | 0.398 | 不支持 |
| mmap | 0.250 | 不支持 | 不支持 |
| Pascal read | 2.160 | 4.668 |
從上面可以看出幾個問題
- Linux平臺上運行程序普遍比Windows上快。
- Windows下VC編譯的程序一般運行比MINGW（MINimal Gcc for Windows）快。
- VC對cin取消同步與否不敏感，前後效率相同。反過來MINGW則非常敏感，前後效率相差8倍。
- read本是linux系統函數，MINGW可能採用了某種模擬方式，read比fread更慢。
- Pascal程序運行速度實在令人不敢恭維。
希望此文能對大家有所啓發，歡迎與我繼續討論。
上次修改時間 2017-05-22