BufferedReader方式的关键代码
通过桥接器InputStreamReader将FileInputStream文件字节输入流转为字符流
由BufferedReader设置缓冲区并包装InputStreamReader的read()操作，调用readLine()方法逐行读取。
// 创建path文件的文件字节输入流FileInputStream fileInputStream = new FileInputStream(path);// 创建从字节流到字符流的桥接器InputStreamReader isr = new InputStreamReader(fileInputStream, "UTF-8");// 创建一个使用指定大小输入缓冲区的缓冲字符输入流，用于包装InputStreamReader的read()操作BufferedReader reader = new BufferedReader(isr, 5*1024*1024);// 通过reader.readLine()逐行读取while ((tem = reader.readLine()) != null) { // 处理读取的数据}// 关闭相关流reader.close();isr.close();fileInputStream.close();FileChannel方式的关键代码
基于文件通道的nio方式，判断是否含有换行符，从而实现逐行读取数据。
可以考虑通过fileChannel.position(startIndex);将该方式扩展为多线程操作，此时暂时不再展开。
// 分配一个新的字节缓冲区。ByteBuffer rbuf = ByteBuffer.allocate(1024);// 创建path文件的文件字节输入流FileInputStream fileInputStream = new FileInputStream(path);// 获取通道FileChannel fileChannel = fileInputStream.getChannel();// 获取此通道文件的当前大小，作为文件结束位置long endIndex = fileChannel.size();// 当前处理字节所在位置long endLineIndex = startIndex;// 用于判断数据是否读取完boolean isEnd = false;// 换行符，目前需手动指定int CF = "\n".getBytes()[0];// 循环读取通道中的数据并放入rbuf中while (fileChannel.read(rbuf) != -1) { // 创建与rbuf容量一样大的数组 byte[] rbyte = new byte[rbuf.position()]; // 读/写指针position指到缓冲区头部,并设置了最大读取长度 rbuf.flip(); // 将rbuf中的数据传输到rbyte中 rbuf.get(rbyte); // 每行的起始位下标，相当于当前所读取到的byte数组 int startNum = 0; // 循环读取rbyte，判断是否有换行符 for (int i = 0; i<rbyte.length; i++) { endLineIndex++; // 当存在换行符时 if (rbyte[i]== CF) { // 创建临时数组用于保存整行数据 byte[] line = new byte[temp.length + i - startNum +1]; // 将上次读取剩下的部分存入line System.arraycopy(temp, 0, line, 0, temp.length); // 将读取到的当前rbyte中的数据追加到line System.arraycopy(rbyte,startNum, line, temp.length, i- startNum +1); // 更新下一行起始位置 startNum = i + 1; // 初始化temp数组 temp = new byte[0]; // 处理数据,此时line即为要处理的一整行数据 String lineStr = new String(line,ENCODE); // 略过具体处理步骤 // ......
} } // 说明rbyte最后还剩不完整的一行 if (startNum < rbyte.length) { byte[] temp2 = new byte[temp.length+rbyte.length - startNum]; System.arraycopy(temp,0 ,temp2, 0, temp.length); System.arraycopy(rbyte, startNum, temp2, temp.length, rbyte.length - startNum); temp = temp2; } rbuf.clear();}// 兼容最后一行没有换行的情况if (temp.length>0) { // 处理数据,此时line即为要处理的一整行数据 String lineStr = new String(temp,ENCODE); // 略过具体处理步骤 // ......}// 关闭通道fileChannel.close();
评论