python 文件读写操作
读文件
打开一个文件用open()方法(open()返回一个文件对象，它是可迭代的)：
>>> f = open(\'test.txt\', \'r\')
r表示是文本文件，rb是二进制文件。（这个mode参数默认值就是r）
如果文件不存在，open()函数就会抛出一个IOError的错误，并且给出错误码和详细的信息告诉你文件不存在：
>>> f=open(\'test.txt\', \'r\') Traceback (most recent call last): File "<stdin>", line 1, in <module> FileNotFoundError: [Errno 2] No such file or directory: \'test.txt\'
文件使用完毕后必须关闭，因为文件对象会占用操作系统的资源，并且操作系统同一时间能打开的文件数量也是有限的
>>> f.close()
由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try ... finally来实现：
try:
f = open(\'/path/to/file\', \'r\')
print(f.read())
finally:
if f:
f.close()
但是每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法：
with open(\'/path/to/file\', \'r\') as f:
print(f.read())
python文件对象提供了三个“读”方法： read()、readline() 和 readlines()。每种方法可以接受一个变量以限制每次读取的数据量。
- read() 每次读取整个文件，它通常用于将文件内容放到一个字符串变量中。如果文件大于可用内存，为了保险起见，可以反复调用
read(size)方法，每次最多读取size个字节的内容。 - readlines() 之间的差异是后者一次读取整个文件，象 .read() 一样。.readlines() 自动将文件内容分析成一个行的列表，该列表可以由 Python 的 for … in … 结构进行处理。
- readline() 每次只读取一行，通常比readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时，才应该使用 readline()。
注意：这三种方法是把每行末尾的\’\n\’也读进来了，它并不会默认的把\’\n\’去掉，需要我们手动去掉。
In[2]: with open(\'test1.txt\', \'r\') as f1:
list1 = f1.readlines()
In[3]: list1
Out[3]: [\'111\n\', \'222\n\', \'333\n\', \'444\n\', \'555\n\', \'666\n\']
去掉\’\n\’
In[4]: with open(\'test1.txt\', \'r\') as f1:
list1 = f1.readlines()
for i in range(0, len(list1)):
list1[i] = list1[i].rstrip(\'\n\')
In[5]: list1
Out[5]: [\'111\', \'222\', \'333\', \'444\', \'555\', \'666\']
对于read()和readline()也是把\’\n\’读入了，但是print的时候可以正常显示（因为print里的\’\n\’被认为是换行的意思）
In[7]: with open(\'test1.txt\', \'r\') as f1:
list1 = f1.read()
In[8]: list1
Out[8]: \'111\n222\n333\n444\n555\n666\n\'
In[9]: print(list1)
111
222
333
444
555
666
In[10]: with open(\'test1.txt\', \'r\') as f1:
list1 = f1.readline()
In[11]: list1
Out[11]: \'111\n\'
In[12]: print(list1)
111
一个python面试题的例子：
有两个文件，每个都有很多行ip地址，求出两个文件中相同的ip地址：
# coding:utf-8
import bisect
with open(\'test1.txt\', \'r\') as f1:
list1 = f1.readlines()
for i in range(0, len(list1)):
list1[i] = list1[i].strip(\'\n\')
with open(\'test2.txt\', \'r\') as f2:
list2 = f2.readlines()
for i in range(0, len(list2)):
list2[i] = list2[i].strip(\'\n\')
list2.sort()
length_2 = len(list2)
same_data = []
for i in list1:
pos = bisect.bisect_left(list2, i)
if pos < len(list2) and list2[pos] == i:
same_data.append(i)
same_data = list(set(same_data))
print(same_data)
要点就是：（1）用with （2）处理行末的\’\n\’ （3）使用二分查找提高算法效率。（4）使用set快速去重。
写文件
写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符\'w\'或者\'wb\'表示写文本文件或写二进制文件：
>>> f = open(\'test.txt\', \'w\') # 若是\'wb\'就表示写二进制文件 >>> f.write(\'Hello, world!\') >>> f.close()
注意：\’w\’这个模式是酱紫：如果没有这个文件，就创建一个；如果有，那么就会先把原文件的内容清空再写入新的东西。所以若不想清空原来的内容而是直接在后面追加新的内容，就用\’a\’这个模式。
我们可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：
with open(\'test.txt\', \'w\') as f:
f.write(\'Hello, world!\')
python文件对象提供了两个“写”方法： write() 和 writelines()。
- write()方法和read()、readline()方法对应，是将字符串写入到文件中。
- writelines()方法和readlines()方法对应，也是针对列表的操作。它接收一个字符串列表作为参数，将他们写入到文件中，换行符不会自动的加入，因此，需要显式的加入换行符。
f1 = open(\'test1.txt\', \'w\') f1.writelines(["1", "2", "3"]) # 此时test1.txt的内容为:123 f1 = open(\'test1.txt\', \'w\') f1.writelines(["1\n", "2\n", "3\n"]) # 此时test1.txt的内容为: # 1 # 2 # 3
关于open()的mode参数：
\’r\’：读
\’w\’：写
\’a\’：追加
\’r+\’ == r+w（可读可写，文件若不存在就报错(IOError)）
\’w+\’ == w+r（可读可写，文件若不存在就创建）
\’a+\’ ==a+r（可追加可写，文件若不存在就创建）
对应的，如果是二进制文件，就都加一个b就好啦：
\’rb\’ \’wb\’ \’ab\’ \’rb+\’ \’wb+\’ \’ab+\’
JSON
JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。JSON的数据格式其实就是python里面的字典格式，里面可以包含方括号括起来的数组，也就是python里面的列表。
在python中，有专门处理json格式的模块—— json 和 picle模块
Json 模块提供了四个方法： dumps、dump、loads、load
def dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True,
allow_nan=True, cls=None, indent=None, separators=None,
default=None, sort_keys=False, **kw):
# Serialize ``obj`` to a JSON formatted ``str``.
# 序列号 “obj” 数据类型 转换为 JSON格式的字符串
def dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True,
allow_nan=True, cls=None, indent=None, separators=None,
default=None, sort_keys=False, **kw):
"""Serialize ``obj`` as a JSON formatted stream to ``fp`` (a
``.write()``-supporting file-like object).
我理解为两个动作，一个动作是将”obj“转换为JSON格式的字符串，还有一个动作是将字符串写入到文件中，也就是说文件描述符fp是必须要的参数 """
示例代码：
>>> import json
>>> json.dumps([]) # dumps可以格式化所有的基本数据类型为字符串
\'[]\'
>>> json.dumps(1) # 数字
\'1\'
>>> json.dumps(\'1\') # 字符串
\'"1"\'
>>> dict = {"name":"Tom", "age":23}
>>> json.dumps(dict) # 字典
\'{"name": "Tom", "age": 23}\'
a = {"name":"Tom", "age":23}
with open("test.json", "w", encoding=\'utf-8\') as f:
# indent 超级好用，格式化保存字典，默认为None，小于0为零个空格
f.write(json.dumps(a, indent=4))
# json.dump(a,f,indent=4) # 和上面的效果一样
保存的文件效果：
二. loads 和 load
loads和load 反序列化方法
查看源码：
def loads(s, encoding=None, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw):
"""Deserialize ``s`` (a ``str`` instance containing a JSON document) to a Python object.
将包含str类型的JSON文档反序列化为一个python对象"""
def load(fp, cls=None, object_hook=None, parse_float=None, parse_int=None, parse_constant=None, object_pairs_hook=None, **kw):
"""Deserialize ``fp`` (a ``.read()``-supporting file-like object containing a JSON document) to a Python object.
将一个包含JSON格式数据的可读文件饭序列化为一个python对象"""
实例：
>>> json.loads(\'{"name":"Tom", "age":23}\')
{\'age\': 23, \'name\': \'Tom\'}
import json
with open("test.json", "r", encoding=\'utf-8\') as f:
aa = json.loads(f.read())
f.seek(0)
bb = json.load(f) # 与 json.loads(f.read())
print(aa)
print(bb)
# 输出：
{\'name\': \'Tom\', \'age\': 23}
{\'name\': \'Tom\', \'age\': 23}
三. json 和 picle 模块
json模块和picle模块都有 dumps、dump、loads、load四种方法，而且用法一样。
不用的是json模块序列化出来的是通用格式，其它编程语言都认识，就是普通的字符串，
而picle模块序列化出来的只有python可以认识，其他编程语言不认识的，表现为乱码
不过picle可以序列化函数，但是其他文件想用该函数，在该文件中需要有该文件的定义（定义和参数必须相同，内容可以不同）
四. python对象（obj） 与json对象的对应关系
+-------------------+---------------+
| Python | JSON |
+===================+===============+
| dict | object |
+-------------------+---------------+
| list, tuple | array |
+-------------------+---------------+
| str | string |
+-------------------+---------------+
| int, float | number |
+-------------------+---------------+
| True | true |
+-------------------+---------------+
| False | false |
+-------------------+---------------+
| None | null |
+-------------------+---------------+
五. 总结
1. json序列化方法：
dumps：无文件操作 dump：序列化+写入文件
2. json反序列化方法：
loads：无文件操作 load： 读文件+反序列化
3. json模块序列化的数据 更通用
picle模块序列化的数据 仅python可用，但功能强大，可以序列号函数
4. json模块可以序列化和反序列化的 数据类型 见 python对象（obj） 与json对象的对应关系表
5. 格式化写入文件利用 indent = 4
OS.PATH
split
分割目录名，返回由其目录名和基名给成的元组
Split a pathname. Returns tuple "(head, tail)" where "tail" is
everything after the final slash. Either part may be empty.>>> os.path.split("/tmp/f1.txt")
(\'/tmp\', \'f1.txt\')
>>> os.path.split("/home/test.sh")
(\'/home\', \'test.sh\')splitext
分割文件名，返回由文件名和扩展名组成的元组
Split the extension from a pathname.
Extension is everything from the last dot to the end, ignoring
leading dots. Returns "(root, ext)"; ext may be empty.>>> os.path.splitext("/home/test.sh")
(\'/home/test\', \'.sh\')
>>> os.path.splitext("/tmp/f1.txt")
(\'/tmp/f1\', \'.txt\')
# 对文件重命名: >>> os.rename(\'test.txt\', \'test.py\') # 删掉文件: >>> os.remove(\'test.py\')
# 查看当前目录的绝对路径:
>>> os.path.abspath(\'.\')
\'/Users/michael\'
# 在某个目录下创建一个新目录，首先把新目录的完整路径表示出来:
>>> os.path.join(\'/Users/michael\', \'testdir\')
\'/Users/michael/testdir\'
# 然后创建一个目录:
>>> os.mkdir(\'/Users/michael/testdir\')
# 删掉一个目录:
>>> os.rmdir(\'/Users/michael/testdir\')