01204223/flask-testing

จาก Theory Wiki
ไปยังการนำทาง ไปยังการค้นหา
หน้านี้เป็นส่วนหนึ่งของวิชา 01204223

เราจะทดสอบส่วน Flask backend ด้วย pytest โดยการทดสอบเราจะเป็นกึ่ง ๆ unit test ที่จะเน้นทดสอบแค่บาง api end-point แต่เนื่องจาก backend เรามีการติดต่อกับ database ผ่านทาง SQLAlchemy ซึ่ง mock ยุ่งยากมาก เราจึงจะไม่ได้ mock แต่จะสร้าง test database มาแทน ทำให้การทำงานของ test เรานั้นจะมีการติดต่อไปยังฐานข้อมูลด้วย (จึงอาจจะเป็น unit test ที่ติดต่อกับระบบอื่นๆ มากเกินไปสักนิด)

ติดตั้งและตั้งค่าเริ่มต้น

เข้าไปทำงานในไดเร็กทอรี backend

ก่อนอื่นเราจะต้อง activate virtual environment ก่อน

จากนั้นจะติดตั้ง pytest โดยเรียก 

pip install pytest

ถ้าติดตั้งเรียบร้อยจะเรียก 

pytest

ได้ และเห็นผลลัพธ์ที่แสดงว่าเราไม่มี test case อะไรเลย (จะมีข้อความว่า collected 0 items)

ก่อนจะทำงานต่อ ให้เก็บรายการของ packages ลงใน requirements.txt โดยสั่ง 

pip freeze > requirements.txt

เพื่อที่เราจะได้ไปเทสใน github action ได้ต่อไป

ตัวอย่างเทสเคสแรก

เราจะสร้างไดเร็กทอรี backend/tests เพื่อเก็บไฟล์ test case ต่างๆ จากนั้นให้สร้างไฟล์ backend/tests/test_models.py ที่มีเทสเคสตัวอย่างดังนี้ 

def test_add():
    assert 2+3 == 5

สังเกตว่าฟังก์ชันชื่อขึ้นต้นด้วย test และอยู่ในไฟล์ที่ชื่อขึ้นต้นด้วย test ซึ่งเป็นกฎที่ pytest ใช้ในการหา test functions

เมื่อเขียนเสร็จแล้ว ให้ลองเรียก (เรียกจากไดเร็กทอรี backend) 

pytest

จะเห็นผลลัพธ์ดังนี้ 

============================= test session starts ==============================
platform linux -- Python 3.13.7, pytest-8.3.4, pluggy-1.6.0
rootdir: /home/jittat/prog/test/flask-react-todo-start/backend
collected 1 item                                                               

tests/test_models.py .                                                   [100%]

============================== 1 passed in 0.01s ===============================

แสดงว่าเทสทำงานถูกต้อง ให้ลองแก้ฟังก์ชันด้านบนเป็น 

def test_add():
    assert 2+3 == 6

แล้วลองเรียก pytest อีกครั้ง จะเห็นว่ามีการฟ้องว่าทดสอบไม่ผ่าน

ให้ลบฟังก์ชัน test_add ออกก่อน เพราะเราจะทดลองเพิ่มฟังก์ชันเทสแบบจริงจัง

ทดสอบการตรวจสอบรหัสผ่าน

เราจะทดสอบฟังก์ชัน set_password และ check_password ที่เราเขียนไว้ในคลาส User โดยเราจะสร้าง test functions เพื่อทดสอบสองฟังก์ชันดังนี้ 

def test_check_correct_password():
    user = User()
    user.set_password("testpassword")
    assert user.check_password("testpassword") == True

def test_check_incorrect_password():
    user = User()
    user.set_password("testpassword")
    assert user.check_password("testpassworx") == False

แต่ฟังก์ชันทั้งสองยังไม่สามารถทำงานได้ เพราะว่าเราต้อง import คลาส User ให้ได้ก่อน แต่ test cases เราอยู่ในไดเร็กทอรี tests ซึ่งทำให้การสั่ง import ตรง ๆ จะทำไม่ได้

เพื่อความสะดวกในการจัดการ test และยังจำเป็นในการสร้าง test database เราจะเพิ่มโค้ดเพื่อตั้งค่าและเตรียมสภาพแวดล้อมเพื่อการทดสอบเสียก่อน

ให้สร้างไฟล์ชื่อ tests/conftest.py ซึ่งเป็นไฟล์สำหรับตั้งค่าของ pytest โดยใส่คำสั่งดังนี้ 

import sys
from pathlib import Path

PROJECT_ROOT = Path(__file__).resolve().parents[1]
if str(PROJECT_ROOT) not in sys.path:
    sys.path.insert(0, str(PROJECT_ROOT))

คำสั่งดังกล่าวจะเพิ่ม path ของ backend ลงไปใน sys.path ทำให้สามารถ import คลาส User ได้

จากนั้นให้แก้ไฟล์ tests/test_models.py ให้เป็น 

from models import User

def test_check_correct_password():
    user = User()
    user.set_password("testpassword")
    assert user.check_password("testpassword") == True

def test_check_incorrect_password():
    user = User()
    user.set_password("testpassword")
    assert user.check_password("testpassworx") == False

แล้วทดลองเรียก pytest เพื่อทำงาน และดูผลลัพธ์การทดสอบ

ฐานข้อมูลสำหรับทดสอบ

สมมติว่าเราต้องการทดสอบโมเดล TodoItem ว่ามี comments ติดมาด้วยเวลาเราเรียกใช้ เราจำเป็นจะต้องมีข้อมูลตัวอย่างที่คงเส้นคงวาในการทดสอบ อย่างไรก็ตาม ในโค้ดปัจจุบันที่เราเขียน เมื่อเราเรียก pytest โค้ดของเราจะทำงานกับฐานข้อมูลหลักที่เราใช้ ซึ่งอาจมีค่าไม่แน่นอน ทำให้การเขียน test case ทำแทบไม่ได้ นอกจากนี้ ถ้าเราทดสอบลบหรือแก้ไข TodoItem ก็อาจจะทำให้ข้อมูลจริงเปลี่ยนไปได้ด้วย

เราจะจัดการกับปัญญหานี้โดยสร้างฐานข้อมูลสำหรับ test ขึ้นมาใหม่โดยเฉพาะเมื่อเริ่มต้นทดสอบ และจะทำลายทิ้งเมื่อทดสอบเสร็จ

เราจะใช้ fixtures ใน pytest เพื่อจัดการขั้นตอนการกำหนดค่าเริ่มต้นก่อนเทสและการเก็บกวาดหลังเทส

เราจะเพิ่มบรรทัดต่อไปนี้ลงใน conftest.py (ต่อจากโค้ดเดิมที่เพิ่ม sys.path) 

import pytest

from main import app as flask_app
from models import db

@pytest.fixture
def app():
    flask_app.config.update(
        {
            'TESTING': True,
            'SQLALCHEMY_DATABASE_URI': f'sqlite:///:memory:',
        }
    )

    with flask_app.app_context():
        db.drop_all()
        db.create_all()

    return flask_app

@pytest.fixture
def client(app):
    return app.test_client()

@pytest.fixture
def app_context(app):
    with app.app_context():
        yield

โค้ดข้างต้นจะสร้าง fixtures สาม fixture คือ

  • app - จะสร้าง flask app ใหม่ โดยปรับโหมดเป็น testing และเปลี่ยน SQLALCHEMY_DATABASE_URI ให้เป็น database แบบ in-memory (คือเก็บฐานข้อมูลทั้งหมดในหน่วยความจำ ซึ่งจะทำงานได้รวดเร็วกว่าการสร้างฐานข้อมูลเป็นไฟล์โดยตรง)
  • client (ซึ่งจะสร้างจาก fixture app) - จะสร้าง client สำหรับทดสอบ route ต่าง ๆ
  • app_context (ซึ่งจะสร้างจาก fixture app) - สร้าง app_context สำหรับทดสอบโมเดลที่ทำงานกับฐานข้อมูล

เมื่อระบุ fixture แล้ว เราสามารถระบุให้ test case เรียกใช้ (หรือทำงานภายใต้) fixture ที่ระบุได้ โดยใส่ fixture ไว้ในพารามิเตอร์ ดังจะได้ดูตัวอย่างต่อไป

Test แรก ใน application context

เราจะทดสอบโค้ดของโมเดลเพิ่มเติม ก่อนอื่นให้เพิ่ม import ใน test_models.py 

from models import TodoItem, Comment, db

ให้ลองเพิ่ม test ด้านล่างลงใน test_models.py 

def test_empty_todoitem():
    assert TodoItem.query.count() == 0

เมื่อเรียก pytest จะพบ error ยาวๆ แต่สรุปท้ายดังนี้ 

========================== short test summary info ===========================
FAILED tests/test_models.py::test_empty_todoitem - RuntimeError: Working 
outside of application context.
=================== 1 failed, 3 passed, 1 warning in 2.44s ===================

เพราะว่าการเรียกใช้ db ต่าง ๆ ต้องทำภายใต้บริบทของ Flask app ให้เราแก้ฟังก์ชันดังกล่าว โดยระบุให้มีการเรียก fixture app_context ดังด้านล่าง 

def test_empty_todoitem(app_context):
    assert TodoItem.query.count() == 0

แล้วเรียก pytest จะพบว่าทำงานได้แล้ว แต่อาจจะมี warning LegacyAPIWarning ซึ่งไม่เป็นปัญหาอะไร (เพราะว่าเราเลือกจะใช้ SQLAlchemy API ในรูปแบบโบราณ)

Test โมเดลเพิ่มเติม

def create_todo_item_1():
    todo = TodoItem(title='Todo with comments', done=True)
    comment = Comment(message='Nested', todo=todo)
    db.session.add_all([todo, comment])
    db.session.commit()
    return todo

def test_todo_to_dict_includes_nested_comments(app_context):
    todo = create_todo_item_1()
    id = todo.id

    test_todo = TodoItem.query.get(id)
    assert len(test_todo.comments) == 1

ทดสอบ view functions: จัดการกับ jwt

from http import HTTPStatus

def test_get_empty_todo_items(client):
    response = client.get('/api/todos/')
    assert response.status_code == HTTPStatus.OK
    assert response.get_json() == []

จะพบ error ดังนี้ 

====================================== FAILURES ======================================
________________________________ test_get_todos_empty ________________________________

client = <FlaskClient <Flask 'main'>>

    def test_get_empty_todo_items(client):
        response = client.get('/api/todos/')
>       assert response.status_code == HTTPStatus.OK
E       assert 401 == <HTTPStatus.OK: 200>
E        +  where 401 = <WrapperTestResponse streamed [401 UNAUTHORIZED]>.status_code
E        +  and   <HTTPStatus.OK: 200> = HTTPStatus.OK

tests/test_views.py:16: AssertionError
============================== short test summary info ===============================
FAILED tests/test_views.py::test_get_empty_todo_items - assert 401 == <HTTPStatus.OK: 200>
======================= 1 failed, 4 passed, 1 warning in 3.74s =======================

เราได้รับ 401 กลับมา เพราะว่าไม่ผ่านการตรวจสอบ jwt token 

import pytest
from flask import g
from flask_jwt_extended.config import config

@pytest.fixture(autouse=True)
def no_jwt(monkeypatch):
    # from https://github.com/vimalloc/flask-jwt-extended/issues/171
    def no_verify(*args, **kwargs):
        g._jwt_extended_jwt = {
            config.identity_claim_key: 'test_user'
        }

    from flask_jwt_extended import view_decorators

    monkeypatch.setattr(view_decorators, 'verify_jwt_in_request', no_verify)

ทดสอบ view functions: สร้างข้อมูลทดสอบและ fixture

from models import TodoItem, db

def create_todo(title='Sample todo', done=False):
    todo = TodoItem(title=title, done=done)
    db.session.add(todo)
    db.session.commit()
    return todo

def test_get_sample_todo_items(client, app_context):
    todo1 = create_todo(title='Todo 1', done=False)
    todo2 = create_todo(title='Todo 2', done=True)
    response = client.get('/api/todos/')
    assert response.status_code == HTTPStatus.OK
    assert response.get_json() == [todo.to_dict() for todo in [todo1, todo2]]

@pytest.fixture
def sample_todo_items(app_context):
    todo1 = create_todo(title='Todo 1', done=False)
    todo2 = create_todo(title='Todo 2', done=True)
    return [todo1, todo2]

def test_get_sample_todo_items(client, sample_todo_items):
    response = client.get('/api/todos/')
    assert response.status_code == HTTPStatus.OK
    assert response.get_json() == [todo.to_dict() for todo in sample_todo_items]

def test_toggle_todo_item(client, sample_todo_items):
    item1, item2 = sample_todo_items

    response = client.patch(f'/api/todos/{item1.id}/toggle/')
    assert response.status_code == HTTPStatus.OK

    data = response.get_json()
    assert data['done'] is True
    assert TodoItem.query.get(item1.id).done is True

Github action

เราจะเพิ่ม github action ให้มีการรัน test ในส่วน backend เมื่อมีการ push ขึ้นไปที่ repository

เก็บกวาด requirements.txt

เราจะต้องรับประกันว่า package ที่เราจะใช้สามารถติดตั้งบน server ที่จะรันเทสได้อย่างครบถ้วน ดังนั้นเราควรจะรัน 

pip freeze > requirements.txt

ใน backend (อย่าลืมเรียก activate virtual env ก่อนด้วย)

เพิ่ม action

ด้านล่างเป็นไฟล์ .github/workflows/backend-tests.yml 

name: Backend Tests

on:
  push:
    paths:
      - 'backend/**'
      - '.github/workflows/backend-tests.yml'
  pull_request:
    paths:
      - 'backend/**'
      - '.github/workflows/backend-tests.yml'
  workflow_dispatch:

jobs:
  test-backend:
    runs-on: ubuntu-latest

    defaults:
      run:
        working-directory: backend

    steps:
      - name: Checkout repository
        uses: actions/checkout@v4

      - name: Set up Python
        uses: actions/setup-python@v5
        with:
          python-version: '3.13'
          cache: 'pip'
          cache-dependency-path: 'backend/requirements.txt'

      - name: Install dependencies
        run: |
          python -m pip install --upgrade pip
          pip install -r requirements.txt

      - name: Run pytest
        run: pytest -q

ให้ add ไฟล์ที่ทำทั้งหมด รวมทั้งไฟล์ workflow ใหม่นี้ด้วย (อย่าลืมดู requirements.txt) จากนั้นให้...

🄶 commit งานที่ทำ แล้ว push กลับไปที่ github ด้วย อย่าลืมรอดูผล Backend Tests

ถ้ารันได้เรียบร้อยน่าจะเห็นลักษณะนี้

233-githubaction-backend.png

ดึงข้อมูลจาก "http://158.108.32.49/wiki/index.php?title=01204223/flask-testing&oldid=60061"