flywithu

English follows Korean.

이번 포스트는 MNIST 데이터셋입니다. MNIST는 머신러닝과 컴퓨터 비전 분야에서 ‘Hello world’와 같은 존재 입니다. 이처럼 광범위하게 사용되는 만큼, 다양한 예제와 구현 방법이 널리 알려져 있습니다. 최근에 CPP로 된 MNIST를 돌려 보다가, 기존 python 보다 훨씬 빠른거 같은 느낌이 들어서 실제적인 시간을 측정해 보았습니다.

사실 python 은 GIL, 싱글쓰레드, 인터프리터, 동적 타이핑등의 이유로 CPP보다 느릴수 밖에 없습니다. 그러나 PyTorch는 많은 부분이 저수준 언어를 랩핑하는 것으로 알고 있었기에 예상보다 큰 성능차이를 보이는 결과에 대해서 상당한 의구심이 있습니다. 테스트가 잘못 되었을수도 있기 때문에, 잘못된 점을 알려 주시면 다시 확인 해보겠습니다.

테스트 결과를 보면 DataLoader와 Log Print 에서 수치적으로 큰 차이가 납니다. Python 이 Non-Blocking 으로 I/O처리는 하지만 아무래도 성능 저하가 있는것 같습니다. Log Print 의 경우는 화면에 비출력 해서, DataLoader는 속도를 최적화한 다른 API로 변경이 가능할것으로 보입니다. GPU로 복사하는 시간은 거의 동일한 것으로 봐서는, Python의 관여가 적으면 성능은 유사한것 같습니다.

가장 중요한 학습 부분에서, 초기화 – 학습 의 과정에서 아래 예시에서는 절대적 시간 차이는 적지만, %로 보면은 큰 차이를 보입니다. 이 수치와 학습 모델의 크기도 나중에 비교할 필요가 있습니다. 만약 학습 모델의 크기가 클수록 이 차이가 커진다면, PoC후 튜닝 및 상용화는 언어를 변경하는 것도 고려가 필요해 보입니다.

테스트 수행했던 코드는 colab 에 올렸습니다. 성능차이가 심한것이 아무래도 이상한데 잘못된 점이 있으면 알려 주길 부탁 드립니다. 동일한(유사한)결과를 위해 Colab 결과만 올립니다.

GPU 사용량을 추적할수 있었던 로컬 테스트 결과를 첨언하자면 GPU 사용률에서는 CPP가 월등히 높았습니다. 그러나 CPU만을 이용한 학습의 경우, CPU는 100%에 가까운 사용률을 보이나, GPU를 이용한 학습의 경우는 Cpp의 경우 50%, Python의 경우 DataLoader를 멀티로 돌릴때 30% 사용률을 보였습니다. 그래서 동시에 여러 잡을 돌려서 GPU를 100%까지 사용할수 있다면, 단위시간당 처리량은 cpp와 python이 같을수 있습니다. 이 부분은 더 실험이 필요해 보입니다.

다만 앙상블과 같은 모델을 돌려서 한개의 결과를 뽑는다고 보았을때는, CPP를 이용하는 것이 학습과 결과에 유리 해 보입니다.

각 단계별 설명은 다음과 같습니다.
Total Time: 전체 수행 시간
Summed Time: 각 스텝별 수행시간의 합. (vs. Total : Main 프로그램이 도는데 걸리는 시간 제외)
Step Count: 학습한 데이터 갯수(확인용) – 동일 수치로 두개의 모델의 일관성을 확인합니다.
Data Loading: PyTorch API를 이용한 MNIST 데이터 loading 시간 – 시간 차이가 큰 부분입니다. 언어별 효율성의 차이를 알 수 있습니다.
Copying TO GPU: 로딩한 데이터를 GPU로 복사 시간 – GPU 사용을 위한 데이터 복사 시간. 큰 차이 없음.
Optimizer Init: 초기화 – 학습 시작전 초기화 입니다. %로 보면 큰 차이를 보입니다.
Model Forward: 모델 순전파(입력 예측 생성). %로 보면 큰 차이를 보입니다. 모델의 크기에 따른 비교도 필요 합니다.
Loss Calculation: 손실계산
Backward Pass: 역전파 (가중치 조정)
Parameter Update: 가중치 업데이트
Progress Printing: Log 출력

아래의 링크로 전체 코드를 확인 할 수 있습니다.

Colab: nvcc vs. python.ipynb – Colaboratory (google.com)

index	Func	Python(s)	CPP(s)	diff(s)	Time Difference (%)
0	Total Time	145.1	17.9	127.18	707.80
1	Summed Time	142.8	17.6	125.19	707.51
2	Step Count	9380	9380
3	Data Loading	113.7	6.13	107.61	1753.01
4	Copying To GPU	1.32	1.14	0.18	16.31
5	Optimizer Init	2.41	0.10	2.30	2185.25
6	Model Forward	4.75	1.66	3.08	185.01
7	Loss Calculation	0.52	0.17	0.35	205.07
8	Backward Pass	13.37	4.71	8.66	183.96
9	Parameter Update	6.67	3.75	2.92	77.85
10	Progress Printing	0.062	0.006	0.05	846.03

The MNIST dataset is described as the ‘Hello World’ of Machine Learning and Computer Vision. It is widely used, with numerous examples and implementations available. Recently, I experimented with the MNIST implementation in C++, and it appeared to run faster than Python. So, I tried to check the actual time.

Python tends to be slower than C++ due to factors like the GIL, single-thread, Interpreted language, and dynamic typing. However, knowing that PyTorch wraps a lot of low-level language functionality, I expected the performance gap between C++ and Python to be minimal. But the significant differences I observed, especially in DataLoader and Log Print times, were curious. While Python used non-blocking I/O, it seems to incur some performance penalty. For log print, avoiding output to the screen and for DataLoader, using an optimized API could potentially improve performance. The time taken to copy data to the GPU was nearly identical, When Python’s involvement is minimal, the performance is similar.

In the important area of machine learning, particularly during initialization and training, the above time difference was small but proportionally significant. This indicates the need for further comparison, especially with larger size models. If bigger models make the performance gap larger, we might think about trying a different programming language before commercialization.

I’ve uploaded the test code to Colab. The significant performance difference seems unusual, so let me know of any potential mistakes. To maintain consistency, I’ve shared only the Colab results.

Additionally, I’ve observed GPU usage differences, with C++ utilizing the GPU more effectively than Python. When training solely on CPU, the usage was nearly 100%, but for C++ , the GPU usage was 50% and even lower for Python when trying with multi-threaded data loading. Perhaps maximizing GPU utilization with concurrent tasks could equalize C++ and Python’s performance. We need further investigation.

For ensemble models producing a single result, C++ seems to be more advantageous for machine learning tasks.

The table above provides a more detailed explanation of the time consumed at each step, and the full code is available at the provided URL.

이제야 이것을 올립니다. . 사실, 이전부터 올리려고 했는데 여러 이유로 지연이 되었습니다. 현 상태에서 마무리를 하고 올리려고 합니다.

AAOS(Android Automotive OS) Emulator 이고, GPS 위치가 수도권 순환도로 판교, 중동을 왕복 하도록 설정 되어 있습니다.

시작 했던 이유는,

이전에 tmap을 OEM GPS(apple pie – ApplePie Carplay Android Ai Box Apple pie Car Smart Box) 가 가능하게 수정 했었습니다.
참고: tmap 9.18 업데이트 – flywithu
하지만 tmap을 제작하는 티모빌리티에서 Email과 집으로 우편물이 왔습니다. 리버싱한거는 공유하지 말라고. Email만 보내도 되었을텐데, 우편물은 좀…

테스트를 효율성을 위해서 emulator 작업 중이었는데, 이것도 중단하고 tmap도 다 삭제 했었습니다. 그러나 emulator는 필요한 분도 있을것 같아 이번에 정리해서 올립니다.

기능은
X86 AAOS(AOSP) emulator (AOSP11): 설정에 따라 phone 및 AAOS 모두 사용 가능 합니다. docker/config 를 aosp_car_x86_64-user 또는 sdk_phone_x86_64-user 로 수정하면 됩니다.
arm -> x86 인터프리터 => 이 라이브러리로 arm전용 앱인 tmap도 설치 및 사용 가능.
수도권순환도로를 왔다 갔다 하는 GPS 값
Google Playstore 및 Korean IME
요렇게 있습니다.

참고로 AOSP9용으로도 x86/arm houdini library가 있는데, Tmap이 Android9(API28) 지원한다고는 적혀 있으나, 제가 테스트 했을떄는 API30 (AOSP10)용 API가 사용되는것으로 보였습니다. 실행하다 에러가 나는데 디버깅하다가 그냥 AOSP11로 업그레이드 했습니다.

설치 및 사용 방법은 아래와 같습니다.

Preconditon: Linux, docker, X86 PC, 500GB HDD

• Build Instruction

1. sudo apt-get install git-core gnupg flex bison build-essential zip curl zlib1g-dev libc6-dev-i386 libncurses5 lib32ncurses5-dev x11proto-core-dev libx11-dev lib32z1-dev libgl1-mesa-dev libxml2-utils xsltproc unzip fontconfig
2. mkdir -p git/aosp_car
3. cd git/aosp_car
4. git clone https://github.com/flywithu/docker.git
5. Phone용으로 빌드 하고자 할때 – 기본적으로 AAOS로 빌드합니다.
   cat <<EOF>docker/config
   sdk_phone_x86_64-user
   EOF
6. docker/fly.sh
7. docker/with.sh
8. docker/u.sh

fly.sh => 소스 다운로드 및 Patch : 아래 message가 나올떄 까지 재시도 필요 (네트워크 에러로 소스 다운로드가 완료 안되는 경우가 있습니다. )

with.sh => 빌드 . 몇시간 걸림

u.sh => 에물레이터 실행 (tmap은 sdk_phone_x86_64로 설치시는 playstore에서 다운 로드 가능하지만, aosp_car_x86_64로 빌드 했을때는 별도로 apk를 설치 해야 합니다. AAOS지원하는 앱이 별로 없어 보입니다. (Android용 티맵 – 대중교통, 대리운전, 주차, 렌터카, 공항버스 APK 다운로드 (apkpure.com))

테스트
TMAP: playstore 에 로그인 해서 다운로드 하면 됩니다. 목적지는 ‘시흥하늘휴게소’로 하면 됩니다. 다만 운전기록이 남아서 안전운전 점수에 영향을 줄수 있습니다.

GPS: GPS 앱으로 보면 4개중 4개의 GPS가 fix 되었고, 감도는 60으로 나옵니다..

Reference

1. AOSP build: Build Android  |  Android Open Source Project
2. X86 Emu: Android Generic (android-generic.github.io)
3. Gapps: The Open GApps Project

wordpress로 블로그를 올리고 미디어 파일을 올립니다. 그런데 미디어파일을 별도로 올리거나 하는 경우 아래와 같이 미디어 파일과 블로그의 글의 링크가 깨지는 경우가 있습니다.

아래의 스크립트를 돌리면 이러한 글들을 미디어파일과 블로그 글을 링크로 연결 해줍니다.

# -*- encoding:utf8 -*-
from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests

In [ ]:

username = 'ID'
password = 'PW'
baseurl = "https://flywithu.com/wp-json/wp/v2"

In [ ]:

credentials = username + ':' + password
token = base64.b64encode(credentials.encode())

header = {
'Authorization': 'Basic ' + token.decode('utf-8'),
'Content-Type': 'application/json'}

In [ ]:

page = 1
per_page=30
mymedias=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/media", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1
    if(item_count<per_page):
        break
    # print(result)
    mymedias.extend(result)
    print("*",end="")

In [ ]:

page = 1
per_page=30
myposts=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/posts", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break
page=1
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/pages", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break

In [ ]:

def download_file(url, save_path):
    response = requests.get(url)
    
    if response.status_code == 200:
        with open(save_path, 'wb') as file:
            file.write(response.content)
        print(f"파일 다운로드 완료: {save_path}")
    else:
        print("파일 다운로드 실패")

In [ ]:

def attach_media_to_post(post_id, attachment_id, baseurl, authname,authpass):
    # 첨부 요청

    credentials = authname + ':' + authpass
    token = base64.b64encode(credentials.encode())

    header = {
   'Authorization': 'Basic ' + token.decode('utf-8'),
   'Content-Type': 'application/json'
}



    
    targetpost = f'{baseurl}/media/{attachment_id}'
    data = {'post':post_id}
    response = requests.post(targetpost, headers=header, data=json.dumps(data))



    if response.status_code == 200:
        # 첨부 성공
        print('미디어 파일이 블로그 글에 첨부되었습니다.')
    else:
        # 첨부 실패
        print('미디어 파일 첨부에 실패했습니다.')
        print(response.text)

In [ ]:

from urllib.parse import urlparse

count = 0 
for mymedia in mymedias:
    # myone = os.path.basename()
    myone =  urlparse(mymedia['guid']['rendered']).path
    print(myone)
    for post in myposts:
        content = post['content']['rendered']
        if myone in content:
            print(post['id'],mymedia['id'])
            attach_media_to_post(post['id'],mymedia['id'],baseurl,username,password)

최근 몇일동안 사이트 사용에 문제가 있었습니다. 예를들어 댓글이 작성이 안되는 문제였습니다. 그 이유는 웹호스팅 디스크 Full 때문이었습니다.

그동안 중복해서 올린 media 라이브러리가 많았는데, 사용하지 않는 미디어파일을 삭제 하는 노트북 파일 입니다.

파일명으로만 검색하기 때문에, 동일한 파일명으로 사용중일때는 있는 것으로 판단합니다. 즉 좀 더 보수적으로 판단 됩니다. 정확하게는 경로명까지 봐서 판단해야 하는데, 이거는 다음에 올린 다음 버젼에서 적용 되었습니다.

ID/PW 부분만 변경해서 사용하면 동작 할것 입니다.

# -*- encoding:utf8 -*-
from curses.ascii import isdigit
from select import select
from turtle import Screen, isvisible
import requests
import random
from configparser import ConfigParser
from selenium import webdriver
from bs4 import BeautifulSoup
import sys
import time
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import math
from selenium.webdriver.support.ui import Select
import logging
import os
from Screenshot import Screenshot_Clipping
from PIL import Image
from inspect import currentframe, getframeinfo
from urllib.request import Request, urlopen
from datetime import datetime,date,timedelta
from requests.auth import HTTPBasicAuth
import json
import base64, json, re, requests

In [244]:

username = 'ID'
password = 'Password'
baseurl = "https://flywithu.com/wp-json/wp/v2"

In [245]:

credentials = username + ':' + password
token = base64.b64encode(credentials.encode())

header = {
'Authorization': 'Basic ' + token.decode('utf-8'),
'Content-Type': 'application/json'}

In [246]:

page = 1
per_page=30
mymedias=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/media", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1
    if(item_count<per_page):
        break
    # print(result)
    mymedias.extend(result)
    print("*",end="")

**********************

In [247]:

page = 1
per_page=30
myposts=[]
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/posts", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break
page=1
while True:
    data = {
    'per_page': per_page,
    'page': page
    }

    response = requests.get(baseurl+"/pages", headers=header,data=json.dumps(data))
    result = response.json()
    item_count = len(result)
    page=page+1

    # print(result)
    myposts.extend(result)
    print("*",end="")
    if(item_count<per_page):
        break

****************************************************************

In [248]:

mycontent=""
for post in myposts:
    content = post['content']['rendered']
    mycontent=mycontent+content
    
    

In [249]:

def save_text_to_file(text, file_path):
    with open(file_path, 'w') as file:
        file.write(text)

save_text_to_file(mycontent,"result.txt")

In [250]:

def download_file(url, save_path):
    response = requests.get(url)
    
    if response.status_code == 200:
        with open(save_path, 'wb') as file:
            file.write(response.content)
        print(f"파일 다운로드 완료: {save_path}")
    else:
        print("파일 다운로드 실패")

In [251]:

if 'Myimage-29.png' in mycontent:
    print("OK")

In [252]:

mymedia_hash=[]
count = 0 
for mymedia in mymedias:
    myone = os.path.basename(mymedia['guid']['rendered'])
    if myone not in mycontent:
        print(myone)
        print(mymedia['guid']['rendered'])
        print(mymedia['id'])
        download_file(mymedia['guid']['rendered'],"data/"+myone)
        deleteurl = baseurl+f"/media/{mymedia['id']}"
        print(deleteurl)
        count=count+1

        data = {
    'id': mymedia['id'],
    'force': 1,
    }
        print(data)
        res = requests.delete(deleteurl,headers=header,data=json.dumps(data))
        print(res.status_code)

print(count)

tmpr5ze2f_a.png
https://www.flywithu.com/wp-content/uploads/2023/05/tmpr5ze2f_a.png
6831
파일 다운로드 완료: data/tmpr5ze2f_a.png

https://www.flywithu.com/gpt-%ec%82%ac%ec%9a%a9-%ed%9b%84%ea%b8%b0/

이글에서 언급된 파이썬 코드 입니다.

개발 환경은 Kaggle 서버 입니다. (www.kaggle.com)
여기의 장점은 스케줄링이 되서, 매일 한번씩 코드가 자동 실행 됩니다. 그것도 무료로!
스케줄링 설정은 아래와 작성한 파이썬에 대해서 설정해줍니다. 그러면 UTC 0 (9:00AM KST)에 실행이 됩니다.

사실 코드가 별로 길지도 않아서..
먼저 OpenAI의 API Key를 가져 옵니다. (https://platform.openai.com/account/api-keys)

그리고 wordpress의 Key도 가져 옵니다.

https://github.com/metaqsol/card/blob/main/gpt-to-wordpress.ipynb

코드는 위와 같습니다.

아무말 대잔치로 GPT를 통해서 Post를 해보았습니다. 몇번의 시행착오를 겪었는데,
처음에는 네이버 기사를 가져와서 글을 쓰게 했는데.. 정말 정말 아무말 대잔치.
GPT는 2021년까지 밖에 모르니, 최신 뉴스를 가져와서 글을 쓰게 하니.

그래서 그 다음으로 한거는 이미 알고 있고, 그리고 재미도 있을만한 옛날 이야기를 작성하게 했습니다.

https://www.flywithu.com/category/chatgpt/

아래와 같이 글을 작성해주는데, GPT도 알고 있던 시대이니, 본문도 맞지 않을까 싶습니다.
그러나 내용의 깊이는 부족하지 않나 싶습니다. 뭔가 프롬프트를 개선해야 할 것 같습니다.

아무말 대잔치의 결과를 보자면.. 포스팅 한개에 0.04$정도 비용이 발생하고, 트래픽으로 보면 아래과 같이 소폭 상승은 했습니다.

그러나 이렇게 생성된 Contents가 개인적으로 별로 유용하지 않습니다. 내가 저 내용을 알아서 뭐할꺼며.. 아마 Wiki를 보는게 더 정확하고 내용이 깊을것 같습니다. 그러나 내용을 표현해주는 Dali의 그림을 좋아 보입니다. 추후에도 Dali는 좀 사용하것 같습니다.

개인적으로 ChatGPT를 최근에 활용했던 것은
글 작성 -> GPT를 통해서 내용을 좀 더 풍부하게, 그리고 맞춤법등의 보정 -> 글 수정 및 퇴고
의 과정에서 사용했습니다. 그러나 내용을 풍부하게 하면서, 가짜 근거를 만들고 붙여줘서, 마지막 단계에서는 정말 잘 읽어봐야 했습니다.

종합적으로 보면, 내가 정답을 검증 할수 있거나(Code), 정답이 없는 것 (그림 같은거)는 확실히 GPT/DALI가 좋습니다. 그러나 내가 모르는 것에 GPT를 이용했다가는 낭패를 겪을수 있습니다.

하도 GPT를 이용한 자동 포스팅이 유행이라, 공짜 credit으로 한번 해보았으나, 향후에는 보정용으로만 활용하지, 완전히 작성용으로는 사용 안 할것 같습니다. 여기에 사용한 코드 및 간단한 메뉴얼은 별도 포스팅으로 남깁니다.