Tensorflow分類器項目自定義數據讀入的實現

 更新時間:2019-02-06 22:00:21   作者:佚名   我要評論(0)

在照著Tensorflow官網的demo敲了一遍分類器項目的代碼后,運行倒是成功了,結果也不錯。但是最終還是要訓練自己的數據,所以嘗試準備加載自定義的數據,然而d

在照著Tensorflow官網的demo敲了一遍分類器項目的代碼后,運行倒是成功了,結果也不錯。但是最終還是要訓練自己的數據,所以嘗試準備加載自定義的數據,然而demo中只是出現了fashion_mnist.load_data()并沒有詳細的讀取過程,隨后我又找了些資料,把讀取的過程記錄在這里。

首先提一下需要用到的模塊:

import os
import keras
import matplotlib.pyplot as plt
from PIL import Image
from keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import train_test_split

圖片分類器項目,首先確定你要處理的圖片分辨率將是多少,這里的例子為30像素:

IMG_SIZE_X = 30
IMG_SIZE_Y = 30

其次確定你圖片的方式目錄:

image_path = r'D:\Projects\ImageClassifier\data\set'
path = ".\data"
# 你也可以使用相對路徑的方式
# image_path =os.path.join(path, "set")

目錄下的結構如下:

相應的label.txt如下:

動漫
風景
美女
物語
櫻花

接下來是接在labels.txt,如下:

label_name = "labels.txt"
label_path = os.path.join(path, label_name)
class_names = np.loadtxt(label_path, type(""))

這里簡便起見,直接利用了numpy的loadtxt函數直接加載。

之后便是正式處理圖片數據了,注釋就寫在里面了:

re_load = False
re_build = False
# re_load = True
re_build = True

data_name = "data.npz"
data_path = os.path.join(path, data_name)
model_name = "model.h5"
model_path = os.path.join(path, model_name)

count = 0

# 這里判斷是否存在序列化之后的數據,re_load是一個開關,是否強制重新處理,測試用,可以去除。
if not os.path.exists(data_path) or re_load:
  labels = []
  images = []
  print('Handle images')
  # 由于label.txt是和圖片防止目錄的分類目錄一一對應的,即每個子目錄的目錄名就是labels.txt里的一個label,所以這里可以通過讀取class_names的每一項去拼接path后讀取
  for index, name in enumerate(class_names):
    # 這里是拼接后的子目錄path
    classpath = os.path.join(image_path, name)
    # 先判斷一下是否是目錄
    if not os.path.isdir(classpath):
      continue
    # limit是測試時候用的這里可以去除
    limit = 0
    for image_name in os.listdir(classpath):
      if limit >= max_size:
        break
      # 這里是拼接后的待處理的圖片path
      imagepath = os.path.join(classpath, image_name)
      count = count + 1
      limit = limit + 1
      # 利用Image打開圖片
      img = Image.open(imagepath)
      # 縮放到你最初確定要處理的圖片分辨率大小
      img = img.resize((IMG_SIZE_X, IMG_SIZE_Y))
      # 轉為灰度圖片,這里彩色通道會干擾結果,并且會加大計算量
      img = img.convert("L")
      # 轉為numpy數組
      img = np.array(img)
      # 由(30,30)轉為(1,30,30)(即`channels_first`),當然你也可以轉換為(30,30,1)(即`channels_last`)但為了之后預覽處理后的圖片方便這里采用了(1,30,30)的格式存放
      img = np.reshape(img, (1, IMG_SIZE_X, IMG_SIZE_Y))
      # 這里利用循環生成labels數據,其中存放的實際是class_names中對應元素的索引
      labels.append([index])
      # 添加到images中,最后統一處理
      images.append(img)
      # 循環中一些狀態的輸出,可以去除
      print("{} class: {} {} limit: {} {}"
         .format(count, index + 1, class_names[index], limit, imagepath))
  # 最后一次性將images和labels都轉換成numpy數組
  npy_data = np.array(images)
  npy_labels = np.array(labels)
  # 處理數據只需要一次,所以我們選擇在這里利用numpy自帶的方法將處理之后的數據序列化存儲
  np.savez(data_path, x=npy_data, y=npy_labels)
  print("Save images by npz")
else:
  # 如果存在序列化號的數據,便直接讀取,提高速度
  npy_data = np.load(data_path)["x"]
  npy_labels = np.load(data_path)["y"]
  print("Load images by npz")
image_data = npy_data
labels_data = npy_labels

到了這里原始數據的加工預處理便已經完成,只需要最后一步,就和demo中fashion_mnist.load_data()返回的結果一樣了。代碼如下:

# 最后一步就是將原始數據分成訓練數據和測試數據
train_images, test_images, train_labels, test_labels = \
  train_test_split(image_data, labels_data, test_size=0.2, random_state=6)

這里將相關信息打印的方法也附上:

print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Image Data", image_data.shape))
print("%-28s %-s" % ("Labels Data", labels_data.shape))
print("=================================================================")

print('Split train and test data,p=%')
print("_________________________________________________________________")
print("%-28s %-s" % ("Name", "Shape"))
print("=================================================================")
print("%-28s %-s" % ("Train Images", train_images.shape))
print("%-28s %-s" % ("Test Images", test_images.shape))
print("%-28s %-s" % ("Train Labels", train_labels.shape))
print("%-28s %-s" % ("Test Labels", test_labels.shape))
print("=================================================================")

之后別忘了歸一化喲:

print("Normalize images")
train_images = train_images / 255.0
test_images = test_images / 255.0

最后附上讀取自定義數據的完整代碼:

import os

import keras
import matplotlib.pyplot as plt
from PIL import Image
from keras.layers import *
from keras.models import *
from keras.optimizers import Adam
from keras.preprocessing.image import ImageDataGenerator
from sklearn.model_selection import train_test_split

os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False # 用來正常顯示負號
re_load = False
re_build = False
# re_load = True
re_build = True
epochs = 50
batch_size = 5
count = 0
max_size = 2000000000

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

您可能感興趣的文章:

  • TensorFlow實現創建分類器

相關文章

  • Tensorflow分類器項目自定義數據讀入的實現

    Tensorflow分類器項目自定義數據讀入的實現

    在照著Tensorflow官網的demo敲了一遍分類器項目的代碼后,運行倒是成功了,結果也不錯。但是最終還是要訓練自己的數據,所以嘗試準備加載自定義的數據,然而d
    2019-02-06
  • ES6 對象的新功能與解構賦值介紹

    ES6 對象的新功能與解構賦值介紹

    ES6 通過字面量語法擴展、新增方法、改進原型等多種方式加強對象的使用,并通過解構簡化對象的數據提取過程。 一、字面量語法擴展 在 ES6 模式下使用字
    2019-02-06
  • Redis連接錯誤的情況總結分析

    Redis連接錯誤的情況總結分析

    前言 最近由于流量增大,redis 出現了一連串錯誤,比如: LOADING Redis is loading the dataset in memory use of closed network connection connec
    2019-02-06
  • 使用TensorFlow實現二分類的方法示例

    使用TensorFlow實現二分類的方法示例

    使用TensorFlow構建一個神經網絡來實現二分類,主要包括輸入數據格式、隱藏層數的定義、損失函數的選擇、優化函數的選擇、輸出層。下面通過numpy來隨機生成一
    2019-02-06
  • PHP實現字符串大小寫轉函數的功能實例

    PHP實現字符串大小寫轉函數的功能實例

    字符串的大小寫轉換功能在日常中經常使用。那么如何實現一個簡單的大小寫轉換功能呢? 在php中,最終使用的是c語言的toupper,tolower函數將字符進行大小寫
    2019-02-06
  • Nginx代理時header頭中帶"_"信息丟失問題的解決

    Nginx代理時header頭中帶"_"信息丟失問題的解決

    前言 開發網關項目時,在請求時往請求頭header中放入了簽名sign_key信息,在接收請求時再從header中拿出,在本地調試時是可以的,但上線之后通過Nginx代理之后
    2019-02-06
  • Python實現E-Mail收集插件實例教程

    Python實現E-Mail收集插件實例教程

    __import__函數 我們都知道import是導入模塊的,但是其實import實際上是使用builtin函數import來工作的。在一些程序中,我們可以動態去調用函數,如果我們
    2019-02-06
  • C++類中的特殊成員函數示例詳解

    C++類中的特殊成員函數示例詳解

    前言 C++類中有幾個特殊的非靜態成員函數,當用戶未定義這些函數時,編譯器將給出默認實現。C++11前有四個特殊函數,C++11引入移動語義特性,增加了兩個參數為
    2019-02-06
  • C++中的函數修飾符深入講解

    C++中的函數修飾符深入講解

    前言 C++博大精深,而且不斷擁抱新的變化。本文簡要總結一下C++中函數的修飾符,其中部分在實際中極少用到。 按修飾符的位置分為函數名前與函數名后兩種,以下
    2019-02-06
  • go實現文件的創建、刪除與讀取示例代碼

    go實現文件的創建、刪除與讀取示例代碼

    文件目錄的創建和刪除 package main import( "fmt" "os" ) func main(){ //創建目錄和權限 os.Mkdir("./benben",0777) //創建多級目錄和設置權限
    2019-02-06

最新評論

黑龙江新11选5开奖结果