查找重复的行
对文件做拷贝、打印、搜索、排序、统计或类似事情的程序都有一个差不多的程序结构:一个处理输入的循环,在每个元素上执行计算处理,在处理的同时或最后产生输出。我们会展示一个名为dup
的程序的三个版本;灵感来自于Unix的uniq
命令,其寻找相邻的重复行。该程序使用的结构和包是个参考范例,可以方便地修改。
dup
的第一个版本打印标准输入中多次出现的行,以重复次数开头。该程序将引入if
语句,map
数据类型以及bufio
包。
gopl.io/ch1/dup1
正如for
循环一样,if
语句条件两边也不加括号,但是主体部分需要加。if
语句的else
部分是可选的,在if
的条件为false
时执行。
map存储了键/值(key/value)的集合,对集合元素,提供常数时间的存、取或测试操作。键可以是任意类型,只要其值能用==
运算符比较,最常见的例子是字符串;值则可以是任意类型。这个例子中的键是字符串,值是整数。内置函数make
创建空map
,此外,它还有别的作用。4.3节讨论map
。
(译注:从功能和实现上说,Go
的map
类似于Java
语言中的HashMap
,Python语言中的dict
,Lua
语言中的table
,通常使用hash
实现。遗憾的是,对于该词的翻译并不统一,数学界术语为映射
,而计算机界众说纷纭莫衷一是。为了防止对读者造成误解,保留不译。)
每次dup
读取一行输入,该行被当做map
,其对应的值递增。counts[input.Text()]++
语句等价下面两句:
map
中不含某个键时不用担心,首次读到新行时,等号右边的表达式counts[line]
的值将被计算为其类型的零值,对于int`即0。
为了打印结果,我们使用了基于range
的循环,并在counts
这个map
上迭代。跟之前类似,每次迭代得到两个结果,键和其在map
中对应的值。map
的迭代顺序并不确定,从实践来看,该顺序随机,每次运行都会变化。这种设计是有意为之的,因为能防止程序依赖特定遍历顺序,而这是无法保证的。
继续来看bufio
包,它使处理输入和输出方便又高效。Scanner
类型是该包最有用的特性之一,它读取输入并将其拆成行或单词;通常是处理行形式的输入最简单的方法。
程序使用短变量声明创建bufio.Scanner
类型的变量input
。
该变量从程序的标准输入中读取内容。每次调用input.Scanner
,即读入下一行,并移除行末的换行符;读取的内容可以调用input.Text()
得到。Scan
函数在读到一行时返回true
,在无输入时返回false
。
类似于C或其它语言里的printf
函数,fmt.Printf
函数对一些表达式产生格式化输出。该函数的首个参数是个格式字符串,指定后续参数被如何格式化。各个参数的格式取决于“转换字符”(conversion character),形式为百分号后跟一个字母。举个例子,%d
表示以十进制形式打印一个整型操作数,而%s
则表示把字符串型操作数的值展开。
Printf
有一大堆这种转换,Go程序员称之为动词(verb)。下面的表格虽然远不是完整的规范,但展示了可用的很多特性:
dup1
的格式字符串中还含有制表符\t
和换行符\n
。字符串字面上可能含有这些代表不可见字符的转义字符(escap sequences)。默认情况下,Printf
不会换行。按照惯例,以字母f
结尾的格式化函数,如log.Printf
和fmt.Errorf
,都采用fmt.Printf
的格式化准则。而以ln
结尾的格式化函数,则遵循Println
的方式,以跟%v
差不多的方式格式化参数,并在最后添加一个换行符。(译注:后缀f
指fomart
,ln
指line
。)
很多程序要么从标准输入中读取数据,如上面的例子所示,要么从一系列具名文件中读取数据。dup
程序的下个版本读取标准输入或是使用os.Open
打开各个具名文件,并操作它们。
gopl.io/ch1/dup2
os.Open
函数返回两个值。第一个值是被打开的文件(*os.File
),其后被Scanner
读取。
os.Open
返回的第二个值是内置error
类型的值。如果err
等于内置值nil
(译注:相当于其它语言里的NULL),那么文件被成功打开。读取文件,直到文件结束,然后调用Close
关闭该文件,并释放占用的所有资源。相反的话,如果err
的值不是nil
,说明打开文件时出错了。这种情况下,错误值描述了所遇到的问题。我们的错误处理非常简单,只是使用Fprintf
与表示任意类型默认格式值的动词%v
,向标准错误流打印一条信息,然后dup
继续处理下一个文件;continue
语句直接跳到for
循环的下个迭代开始执行。
为了使示例代码保持合理的大小,本书开始的一些示例有意简化了错误处理,显而易见的是,应该检查os.Open
返回的错误值,然而,使用input.Scan
读取文件过程中,不大可能出现错误,因此我们忽略了错误处理。我们会在跳过错误检查的地方做说明。5.4节中深入介绍错误处理。
注意countLines
函数在其声明前被调用。函数和包级别的变量(package-level entities)可以任意顺序声明,并不影响其被调用。(译注:最好还是遵循一定的规范)
map
是一个由make
函数创建的数据结构的引用。map
作为为参数传递给某函数时,该函数接收这个引用的一份拷贝(copy,或译为副本),被调用函数对map
底层数据结构的任何修改,调用者函数都可以通过持有的map
引用看到。在我们的例子中,countLines
函数向counts
插入的值,也会被main
函数看到。(译注:类似于C++里的引用传递,实际上指针是另一个指针了,但内部存的值指向同一块内存)
dup
的前两个版本以"流”模式读取输入,并根据需要拆分成多个行。理论上,这些程序可以处理任意数量的输入数据。还有另一个方法,就是一口气把全部输入数据读到内存中,一次分割为多行,然后处理它们。下面这个版本,dup3
,就是这么操作的。这个例子引入了ReadFile
函数(来自于io/ioutil
包),其读取指定文件的全部内容,strings.Split
函数把字符串分割成子串的切片。(Split
的作用与前文提到的strings.Join
相反。)
我们略微简化了dup3
。首先,由于ReadFile
函数需要文件名作为参数,因此只读指定文件,不读标准输入。其次,由于行计数代码只在一处用到,故将其移回main
函数。
gopl.io/ch1/dup3
ReadFile
函数返回一个字节切片(byte slice),必须把它转换为string
,才能用strings.Split
分割。我们会在3.5.4节详细讲解字符串和字节切片。
实现上,bufio.Scanner
、ioutil.ReadFile
和ioutil.WriteFile
都使用*os.File
的Read
和Write
方法,但是,大多数程序员很少需要直接调用那些低级(lower-level)函数。高级(higher-level)函数,像bufio
和io/ioutil
包中所提供的那些,用起来要容易点。
练习 1.4: 修改dup2
,出现重复的行时打印文件名称。
Last updated