Update: 데이터 전처리 일부. 지역 코드 이름 오름차순 정렬 반환.

server/Data명세서.md

@@ -64,9 +64,9 @@ PostgreSQL DB를 이용하여, 날씨 데이터와 분석 결과를 저장합니
 
 데이터 분석용 파일의 형식은 csv이며 내용은 다음과 같습니다.
 
-|  Header  |     date     | temp_out  | humi_out  | press | wind_speed |  temp_in  |  humi_in  |
-| :------: | :----------: | :-------: | :-------: | :---: | :--------: | :-------: | :-------: |
-| Contents | 날짜 및 시각 | 실외 온도 | 실외 습도 | 기압  |    풍속    | 실내 온도 | 실외 습도 |
+|  Header  |     date     | temp_out  | humi_out  | press | wind_speed |  temp_in  |  humi_in  | lights |
+| :------: | :----------: | :-------: | :-------: | :---: | :--------: | :-------: | :-------: | :----: |
+| Contents | 날짜 및 시각 | 실외 온도 | 실외 습도 | 기압  |    풍속    | 실내 온도 | 실외 습도 |  광도  |
 
 <br>
 

server/src/controllers/dataController.js

@@ -139,9 +139,18 @@ export const getOutWeatherData = (req, res) => {
 export const getLocCode = async (req, res) => {
   try {
     /* 통합 지역 코드 및 이름 json으로 생성 및 전송 */
-    const does = await db.Doe.findAll({ logging: false });
-    const sggs = await db.Sgg.findAll({ logging: false });
-    const emds = await db.Emd.findAll({ logging: false });
+    const does = await db.Doe.findAll({
+      order: [["name_doe", "ASC"]],
+      logging: false,
+    });
+    const sggs = await db.Sgg.findAll({
+      order: [["name_sgg", "ASC"]],
+      logging: false,
+    });
+    const emds = await db.Emd.findAll({
+      order: [["name_emd", "ASC"]],
+      logging: false,
+    });
 
     let doe_sgg = [];
     let sgg_emd = [];

server/src/data_processing/main.py

@@ -5,6 +5,7 @@
     - 진행된 후의 Weights를 파일로 저장합니다.
 """
 
+import datetime
 import sys
 import psycopg2
 
@@ -14,6 +15,13 @@ from preprocessing import preprocess
 dbconfig = {"host": sys.argv[1], "user": sys.argv[2],
             "password": sys.argv[3], "database": sys.argv[4]}
 
+today = datetime.datetime.today()
+year = str(today.year)
+month = str(today.month) if today.month >= 10 else '0'+str(today.month)
+day = str(today.day) if today.day >= 10 else '0'+str(today.day)
+collected_at = year + "-" + month + "-" + day
+
+
 # DB 연결
 connection = psycopg2.connect(
     database=dbconfig["database"], user=dbconfig["user"])
@@ -21,13 +29,23 @@ connection = psycopg2.connect(
 # DB에 대한 동작을 위한 cursor 생성
 cursor = connection.cursor()
 
-cursor.execute("SELECT email as host, loc_code, using_aircon FROM Users")
-hosts = cursor.fetchall()
+cursor.execute("SELECT email, loc_code, using_aircon FROM Users")
+users = cursor.fetchall()
+
+for user in users:
+
+    host = {"email": user[0], "loc_code": user[1], "using_aircon": user[2]}
 
-for host in hosts:
     # 데이터 전처리
     preprocess(cursor, host)
 
+    # 데이터 분석
+    params = "main_proceduer_function"
+
+    # 데이터 분석 결과 저장
+    cursor.execute("INSERT INTO \"Data_Processings\" (host,collected_at,params) VALUES (%s,%s,%s)",
+                   (host["email"], collected_at, params))
+
 # Cursor와 Connection 종료
 cursor.close()
 connection.close()

server/src/data_processing/preprocessing.py

 """
-    ### preprocessing.py
+    # preprocessing.py
 
     데이터 전처리를 위한 파일입니다.
+    DB에 저장된 값들을 불러와 사용자 등록 장소의 날씨 데이터와 외부 날씨 데이터를 결합해 CSV 파일을 생성합니다.
 
 """
 
-
 def preprocess(cursor, host):
-    pass
+    """
+        ### preprocess(cursor, host)
+
+        - cursor : psycopg2의 SQL 실행을 위한 cursor.
+        - host : 사용자 정보.
+
+        사용자 정보를 바탕으로 외부 날씨와 내부 날씨를 검색해 CSV 파일로 작성합니다. 
+    """
+
+    cursor.execute(
+        "SELECT t2.collected_at as \"date\", temp_out, humi_out, press, wind_speed, temp_in, humi_in, lights FROM"
+        + " (SELECT collected_at, temp as temp_out, humi as humi_out,press, wind_speed FROM Weather_Outs WHERE loc_code = %s) t1"
+        + " JOIN "
+        + " (SELECT collected_at, temp as temp_in, humi as humi_in, lights FROM Weather_Ins WHERE host = %s) t2"
+        + " ON t1.collected_at = t2.collected_at", (host["loc_code"], host["email"],))
+    results = cursor.fetchall()
+
+    file = open("/src/dataprocessing/temp.csv", 'w')
+
+    # header
+    file.write("date,temp_out,humi_out,press,wind_speed,temp_in,humi_in,lights\n")
+
+    for result in results:
+        file.write("{0},{1},{2},{3},{4},{5},{6},{7}\n".format(
+            result[0], result[1], result[2], result[3], result[4], result[5], result[6], result[7]))
+
+    file.close()