มองกฎหมาย AI จากต่างประเทศ พร้อมอัปเดตกฎหมาย AI ของไทยเป็นอย่างไร

  • 2
  •  
  •  
  •  
  •  

ถึงเวลาแล้วหรือยัง ที่โลกของเราต้องเริ่มตั้งข้อสงสัยว่าเทคโนโลยีสุดล้ำอย่าง AI ที่กำลังฉลาดขึ้นทุกวันมีการควบคุมแล้วหรือยัง?

ตลอดระยะเวลาหลายปีที่ผ่านมา AI ถูกพัฒนาและเติบโตขึ้นในอุตสาหกรรมต่าง ๆ ทำให้เราเริ่มคุ้นเคยกับเทคโนโลยีมากขึ้น และใส่ข้อมูลต่างๆ เพื่อให้มีความแม่นยํามากที่สุด จากความฉลาดของ AI ทำให้เกิดการตั้งคำถามจากคนในสังคม โดยเฉพาะเรื่องการควบคุม หรือสร้างมาตรฐานที่เป็นกฎระเบียบข้อบังคับแบบรูปธรรม ส่งผลให้ในปัจจุบันกลายเป็นข้อถกเถียงใหญ่ในหลายประเทศเลยก็ว่าได้

ในช่วงไม่กี่ปีที่ผ่านมา หลายประเทศเริ่มมีการตอบสนองเกี่ยวกับการพัฒนากฎหมายและข้อบังคับเกี่ยวกับ AI โดยในปี 2565 องค์กรนิติบัญญัติใน 127 ประเทศทั่วโลกได้อนุมัติกฎหมาย AI ไปแล้ว 37 ฉบับ สหรัฐอเมริกาเป็นประเทศที่มีกฎหมาย AI มากที่สุดถึง 9 ฉบับ (รายงาน AI Index Report 2023 ของมหาวิทยาลัยสแตนฟอร์ดแสดง) ซึ่งในบทความนี้ Marketing oops! จะขอเล่าถึงเกี่ยวกับร่างกฎหมาย AI ว่ามีความสำคัญอย่างไร และอัปเดตร่างกฎหมายนี้ทั้งในประเทศไทยและต่างประเทศ มีการควบคุม AI อย่างไรบ้าง

ครั้งแรกของโลกที่สหภาพยุโรปออกกฎหมายเกี่ยวกับ AI

สหภาพยุโรป (EU) ให้ความสำคัญกับการพัฒนา AI จากเดิมที่มีกฎหมาย General Data Protection Regulation (GDPR) เพื่อควบคุมดูแลในด้านข้อมูลส่วนบุคคลแล้ว โดยได้ออกกฎหมายที่เกี่ยวข้องกับ AI ฉบับแรกของโลกขึ้นเมื่อปี พ.ศ. 2564 ชื่อว่า Artificial Intelligence Act (E.U. AI Act) เพื่อกำกับดูแลขอบเขตการใช้งาน AI ในบริษัทต่าง ๆ หลังผ่านการพิจารณาอนุมัติจะมีผลบังคับใช้เป็นกฎหมายภายในประเทศสมาชิกทันที และมีการประเมินว่าน่าจะผ่านความเห็นชอบภายในปีหน้าโดยกฎหมายนี้มีสิ่งที่น่าสนใจและจับตามอง ได้แก่

  • การห้ามใช้ระบบจดจำใบหน้าหรือ Biometric ในที่สาธารณะ รวมถึงในเครื่องมือตรวจการณ์ของตำรวจ
  • ระบบ Generative AI เช่น ChatGPT ต้องระบุว่าเนื้อหานั้นสร้างขึ้นโดย AI

การที่สหภาพยุโรปเข้ามาดูแลเรื่องนี้ทำให้เป็นที่จับตามองของหลายประเทศ แถมยังส่งผลกับนักพัฒนาทั่วโลก รวมถึงประเทศไทย เพราะเรียกได้ว่านี่อาจจะเป็นจุดเปลี่ยนและทิศทางในอนาคตของเทคโนโลยี AI โดย E.U. AI Act ฉบับนี้ ยังจัดกลุ่มการใช้งาน AI ออกเป็น 4 ประเภทตามความเสี่ยง ตั้งแต่ความเสี่ยงระดับต่ำไปจนถึงความเสี่ยงที่ยอมรับไม่ได้ตามลำดับ ได้แก่

  • 1.เครื่องมือ AI ที่มีความเสี่ยงต่ำ สามารถพัฒนาและใช้งานได้ตามปกติ เพียงแต่ผู้พัฒนาหรือผู้ประกอบการจะต้องมีจรรยาบรรณในการดำเนินธุรกิจ และไม่ก่อให้เกิดอันตรายต่อผู้ใช้งาน เช่น ทรัพย์สิน, สังคม, สุขภาพ, ความปลอดภัย, สิทธิขั้นพื้นฐาน, สิ่งแวดล้อม, ประชาธิปไตย และหลักนิติธรรม
  • 2.เครื่องมือ AI ที่มีความเสี่ยงจำกัด เช่น ChatGPT จะต้องปฏิบัติตามข้อกำหนดด้านความโปร่งใสคือ การระบุว่าเนื้อหาถูกสร้างขึ้นโดย AI, การออกแบบโมเดลเพื่อป้องกันไม่ให้สร้างเนื้อหาที่ผิดกฎหมาย และ เผยแพร่สรุปข้อมูลลิขสิทธิ์ที่ใช้
  • 3.เครื่องมือ AI ที่มีความเสี่ยงสูง ระบบ AI ที่ส่งผลเสียต่อความปลอดภัยหรือสิทธิขั้นพื้นฐานจะถือว่ามีความเสี่ยงสูง และจะแบ่งออกเป็น 2 ประเภท คือ 1) ระบบ AI ที่ใช้ในผลิตภัณฑ์ที่อยู่ภายใต้ กฎหมายความปลอดภัยของผลิตภัณฑ์ของสหภาพยุโรป และ 2) ระบบ AI แบ่งออกเป็นด้านเฉพาะที่จะต้องลงทะเบียนในฐานข้อมูล เช่น การศึกษา การบังคับใช้กฎหมาย หรือการย้ายถิ่นฐาน เป็นต้น
  • 4.เครื่องมือ AI ที่มีความเสี่ยงยอมรับไม่ได้ คือระบบที่ถือว่าเป็นภัยคุกคามต่อผู้คนและจะถูกแบน เช่น ระบบระบุตัวตนไบโอเมตริกแบบเรียลไทม์และระยะไกล,การจดจำใบหน้า หรือการให้คะแนนทางสังคม เป็นต้น

กฎระเบียบ AI ของสหภาพยุโรปนั้นครอบคลุมทั้งภายในและภายนอกอาณาเขต โดยกำหนดให้ระบบ AI ใดก็ตามที่ส่งผลต่อประชาชนหรือภาคธุรกิจในสหภาพยุโรป ไม่ว่าจะอยู่ที่ไหนก็ตาม จะต้องปฏิบัติตามข้อบังคับนี้

แหล่งข้อมูล 

1.NewsEuropean Parliament

2.NewsEuropean Parliament

ก้าวไปอีกขั้นสำหรับกฎระเบียบด้าน AI ในสหรัฐอเมริกา

เว็บไซต์ whitehouse.gov ของสำนักงานประธานาธิบดีสหรัฐอเมริกา (ทำเนียบขาว) เผยแพร่ข่าวประชาสัมพันธ์ FACT SHEET: President Biden Issues Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence ระบุว่า โจ ไบเดน (Joe Biden) ประธานาธิบดีสหรัฐฯ ลงนามคำสั่งพิเศษกำหนดมาตรฐานใหม่ด้านความปลอดภัยและความมั่นคงของ AI ปกป้องความเป็นส่วนตัวของชาวอเมริกัน และจัดระเบียบการพัฒนาและการใช้ AI โดยมีสาระสำคัญดังนี้

1.มาตรฐานใหม่สำหรับรักษาความปลอดภัยของ AI : กำหนดให้นักพัฒนาระบบ AI ต้องแชร์ผลการทดสอบความปลอดภัยและข้อมูลสำคัญอื่น ๆ กับรัฐบาลสหรัฐฯ เพื่อทำให้ระบบ AI มีความปลอดภัย และเชื่อถือก่อนที่จะเผยแพร่สู่สาธารณะ

2.การปกป้องความเป็นส่วนตัวของชาวอเมริกัน : ฝ่ายบริหารของ Biden เรียกร้องให้สภาผ่านกฎหมายคุ้มครองข้อมูลเพื่อประชาชนควรได้รับการปกป้องจากระบบที่ไม่ปลอดภัยและไม่มีประสิทธิภาพโดยเฉพาะกับเด็ก

3.ความเสมอภาคและสิทธิพลเมือง : ป้องกันไม่ให้มีการใช้ AI เพื่อเพิ่มการเลือกปฏิบัติ อคติ และการละเมิดอื่น ๆ ในด้านความยุติธรรม การดูแลสุขภาพ และที่อยู่อาศัย

4.เข้ามาช่วยผู้บริโภค ผู้ป่วย และนักศึกษา : การใช้ AI เข้ามาดูแลสุขภาพและการศึกษาจะได้รับการพัฒนาให้ดีขึ้น ผ่านการใช้เครื่องมือ AI ที่เหมาะสม และจัดทำโปรแกรมความปลอดภัยเพื่อป้องกันภัยต่าง ๆ

5.การส่งเสริมนวัตกรรมและการแข่งขัน : มีเป้าหมายเพื่อเป็นผู้นำในด้านนวัตกรรมและการแข่งขัน โดยมุ่งเน้นไปที่การวิจัย โดยเฉพาะอย่างยิ่งในด้านที่สำคัญ เช่น การดูแลสุขภาพและการพยากรณ์สภาพภูมิอากาศ เป็นต้น

6.ความก้าวหน้าของผู้นำในต่างประเทศ : ใช้ความฉลาดของ AI ในการกำหนดทิศทางการทำงานร่วมกันและการมีส่วนร่วมกับพันธมิตรระหว่างประเทศ

ภายหลังการออกคำสั่งประธานาธิบดี สำนักงานการจัดการและงบประมาณ (OMB) ได้ออกร่างนโยบายเกี่ยวกับการกำกับดูแลความเสี่ยงสำหรับการใช้ AI ของหน่วยงานรัฐบาลกลาง เพื่อพัฒนานวัตกรรม AI ที่มีความรับผิดชอบ เพิ่มความโปร่งใส และจัดการความเสี่ยงจากการใช้ AI ของรัฐบาล

แหล่งข้อมูล : The whitehouse

จีนสร้างกรอบกำกับดูแลและมาตรฐานของ AI ให้เทียบเท่าระดับสากล

เมื่อกล่าวถึงการกำกับ AI ในอาเซียน คงจะต้องนึกถึงจีนแผ่นดินใหญ่และเข้มงวดเป็นอย่างมากเกี่ยวกับเรื่องนี้ โดยเมื่อไม่นานมานี้ Bloomberg รายงานว่า บริษัท Tech ใหญ่ของจีนตั้งแต่ Tencent, ByteDance, Alibaba ฯลฯ ได้แสดงข้อมูลการใช้อัลกอริทึม ให้รัฐบาลจีนเป็นครั้งแรก เป้าหมายคือ ควบคุมการใช้ข้อมูลในทางที่ผิด เพื่อให้สอดคล้องกับกฎระเบียบใหม่ของรัฐบาลจีน ในการควบคุมบริษัทอินเทอร์เน็ต

อัลกอริทึม คือสิ่งที่แต่ละแพลตฟอร์มใช้เพื่อแสดงคอนเทนต์ที่เราอาจจะชอบ ซึ่ง TikTok, WeChat, Instagram, Facebook ต่างก็ใช้อัลกอริทึมเป็นเครื่องมือสำคัญในการจัดลำดับเนื้อหา ทำให้สังคมของจีนเริ่มตั้งคำถามว่าอะไรคือเกณฑ์การจัดลำดับ เพราะที่ผ่านมา อัลกอริทึมมีแนวโน้มแสดงข่าวปลอม แสดงเนื้อหาโน้มเอียงทางสังคมการเมือง ซึ่งไม่ใช่แค่ที่จีนเท่านั้น แต่เป็นปัญหาใหญ่ของโซเชียลมีเดียทั่วโลก

เมื่อต้นเดือนมีนาคมที่ผ่านมารัฐบาลจีนภายใต้หน่วยงาน  Cyberspace Administration of China (CAC) ได้กำหนดให้บริษัทอินเทอร์เน็ต ต้องเปิดเผยเครื่องมือดังกล่าว ซึ่งเป็นหนึ่งในความพยายามที่จะจัดการกับข้อร้องเรียน เกี่ยวกับการใช้ข้อมูลในทางที่ผิด

การเข้ามาควบคุมอัลกอริทึมเป็นเหตุการณ์ก่อนการเปิดตัว ChatGPT ในเดือนธันวาคมปีที่แล้วของจีน ทำให้ ChatGPT ถูกพูดถึงก่อนเปิดตัว และทางรัฐบาลจีนได้เสนอกฎใหม่สำหรับนักพัฒนาและผู้ใช้ Generative AI โดยใช้มาตรการฉบับปรับปรุงเผยแพร่ในเดือนกรกฎาคมปี พ.ศ. 2566 และมีผลบังคับใช้ในเดือนสิงหาคม แม้ว่าข้อกำหนดจะมีผล แต่เวอร์ชันที่เผยแพร่ยังคงมีป้ายกำกับว่า “ชั่วคราว”

ดูเหมือนว่าจีนจะเปิดกว้างสำหรับการทำงานร่วมกับประชาคมระหว่างประเทศเกี่ยวกับปัญหา AI ในเดือนกรกฎาคม Wang Wenbin โฆษกกระทรวงการต่างประเทศของจีนกล่าวว่า “จีนยินดีที่จะส่งเสริมการสื่อสารและการแลกเปลี่ยนกับประชาคมระหว่างประเทศเกี่ยวกับการกำกับดูแลความปลอดภัยของ AI ส่งเสริมการจัดตั้งกลไกระหว่างประเทศด้วยการมีส่วนร่วมในระดับสากล และสร้างกรอบการกำกับดูแลและมาตรฐานของ AI ให้ดี”

แหล่งข้อมูล : bloomberg

รูปภาพในงานสัมมนา SCBX UNLOCKING AI: EP1 Thailand Path to AI Opportunities โดย ดร.อภิวดี ปิยธรรมรงค์ Senior Researcher NECTEC

ประเทศไทยยกระดับการกำกับดูแลความปลอดภัยเรื่อง กฎหมาย AI

เมื่อเดือนกันยายนที่ผ่านมา ในงานสัมมนา SCBX UNLOCKING AI: EP1 Thailand Path to AI Opportunities โดย ดร.อภิวดี ปิยธรรมรงค์ Senior Researcher NECTEC ได้เล่าให้ฟังถึงแผนปฏิบัติการ AI ตอนนี้ถึงขั้นไหน และมีเป้าหมายอย่างไรในอนาคต โดยกล่าวว่า ไทยเห็นข่าวจากนโยบายกฎหมาย AI จากต่างประเทศ พร้อมกับได้ศึกษาเพื่อดูว่าจะสามารถนำมาปรับใช้กับประเทศตัวเองได้อย่างไร จนเกิด “แผนปฏิบัติการด้านปัญญาประดิษฐ์เพื่อการพัฒนาประเทศไทยปี พ.ศ. 2565-2570” และผ่านความเห็นชอบจากคณะรัฐมนตรีเรียบร้อย ซึ่งมีหลายหน่วยงานทั้งภาครัฐ เอกชน รวมถึงผู้เชี่ยวชาญหลายสถาบันมาช่วยกันพัฒนา จากการร่วมมือกันมา 1 ปี ก็เกิด 5 ยุทธศาสตร์ ดังนี้

1.จริยธรรมและกฎระเบียบ AI : สิ่งที่หลายคนกังวล คือยุทธศาสตร์ที่ 1 ว่าจะส่งผลกระทบอย่างไร AI จะเข้ามายกระดับชีวิตผู้คนอย่างไร เป้าหมายความสำเร็จของยุทธศาสตร์ที่ 1 จึงตั้งเป้าว่าจะต้องทำให้คน 600,000 คนตระหนักถึงความสำคัญของการมีกฎหมาย ข้อบังคับด้าน AI ให้ได้

2.โครงสร้างพื้นฐานสำหรับ AI : เป้าหมายของยุทธศาสตร์นี้คือ จะทำอย่างไรให้เกิดการเชื่อมโยง Data ขนาดใหญ่ ให้คนเข้าถึงข้อมูล เพื่อนำไปพัฒนาโมเดลของผู้พัฒนาแต่ละค่ายได้ และรัฐบาลยังตั้งเป้าความพร้อมด้าน AI ให้สูงขึ้นไม่ต่ำกว่าลำดับที่ 50 ของโลก

3.กำลังคนด้าน AI : สำหรับเป้าหมายในประเทศพยายามให้มีหลักสูตรการเรียนการสอนด้าน AI ในระดับปริญญา และสนับสนุนให้เกิดการสร้างทักษะด้าน AI ทุกระดับ ตั้งแต่เด็ก ไปจนถึงผู้ใหญ่ให้เข้าใจเรื่องของเทคโนโลยี และจะขยายบุคลากรด้าน AI ของประเทศไม่ต่ำกว่า 30,000 คน

4.วิจัยพัฒนาและนวัตกรรม AI : หนึ่งในเป้าหมายสำคัญคือการสร้าง AI ที่เป็นนวัตกรรมของไทยเอง ถ้าไม่มี AI ที่เป็นภาษาของตนเอง อาจจะทำให้เราต้องพึ่งพาแต่เทคโนโลยีของต่างประเทศ โดยทางภาครัฐได้เร่งงานวิจัยพัฒนาและนวัตกรรมด้าน AI เพื่อให้ทุกคนใช้งานได้แบบไม่มีปัญหาเรื่องของกำแพงภาษา

5.ส่งเสริมธุรกิจและการใช้ AI : นำ AI มาใช้ทางธุรกิจมีเป้าหมายทำให้ GDP สูงขึ้น ทำให้ทุกคนเข้าถึง AI ที่ปลอดภัย เพื่อช่วยยกระดับชีวิตที่มีการใช้งานนวัตกรรม AI ทั้งในภาครัฐ ผู้ประกอบการใหม่ เพิ่มขึ้นร้อยละ 10 ต่อปี หรือไม่น้อยกว่า 60,000 ล้านบาทในปี พ.ศ. 2570

รูปภาพจากงานสัมมนา SCBX UNLOCKING AI: EP1 Thailand Path to AI Opportunities

อัปเดตผลงานที่ผ่านมา หลังดำเนินการในการทำงานตามยุทธศาสตร์ทั้ง 5 มีดังนี้

  • ยุทธศาสตร์ที่ 1 : เปิดศูนย์ธรรมาภิบาลปัญญาประดิษฐ์ (AIGC) ในการพัฒนา ให้คำปรึกษา เผยแพร่องค์ความรู้ รวมถึงสร้างเครือข่ายผู้เชี่ยวชาญด้าน AI ทั้งในประเทศและต่างประเทศ พร้อมร่าง พรฎ.การประกอบธุรกิจบริการที่ใช้งานระบบปัญญาประดิษฐ์ (ฉบับระดมความคิดเห็น – สิงหาคม 2565) และเกิดร่าง พรบ. ว่าด้วยการส่งเสริมและสนับสนุนนวัตกรรมปัญญาประดิษฐ์แห่งประเทศไทย
  • ยุทธศาสตร์ที่ 2 และ 3 : สร้างเกิดแพลตฟอร์มบริการ AI บนคลาวด์ภาครัฐ (GDCC) ตามมติคณะกรรมการขับเคลื่อนแผน AI และทาง สวทช. ได้รับการสนับสนุนจากกองทุนส่งเสริมวิทยาศาสตร์ วิจัยและนวัตกรรม (ววน.) เปิดให้บริการ LANTA: HPC สำหรับ R&D ของรัฐและเอกชน
  • ยุทธศาสตร์ที่ 4 และ 5 : เกิดการบูรณาการจากทุกภาคส่วน ทั้งรัฐและเอกชน เกิดระบบวิเคราะห์เพื่อสนับสนุนการแก้ปัญหาความยากจนแบบชี้เป้า (TP Map) และเกิดเครือข่ายแพลตฟอร์มบริหารจัดการข้อมูลเปิดด้านการแพทย์ (Medical AI Data Sharing)

ความสำคัญของกฎหมาย AI และทำไมภาครัฐต้องมีกฎหมาย AI

หลาย ๆ คนอาจจะกำลังสงสัยว่ากฎหมาย AI มีบทบาทสำคัญอย่างไร แล้วทำไมถึงภาครัฐถึงต้องออกกฎหมายเทคโนโลยีนี้ จากการค้นคว้าหาข้อมูล Marketing OOps!  สามารถสรุปได้ดังนี้

AI เป็นเทคโนโลยีที่ช่วยรวบรวมข้อมูลต่าง ๆ ของภาครัฐ เช่น การจัดซื้อ หรือรายละเอียดต่าง ๆ ของโครงการ โดยข้อมูลเหล่านี้สามารถจัดเป็นตาราง กราฟ ที่สามารถเข้าใจง่ายขึ้นอยู่กับผู้ใช้งานที่อยากเข้าไปดู เท่ากับว่าใครก็สามารถเข้าไปดูได้ และเป็นที่รู้กันดีว่า AI มีระบบติดตาม ซึ่งในอนาคตอาจจะรวบรวมถึงผลคะแนนการเลือกตั้ง และนี้คือในส่วนของภาครัฐว่าทำไมถึงต้องเข้ามาควบคุม

ส่วนฝั่งของประชาชน AI สามารถรวบรวมข้อมูลของผู้ใช้งานทุกคน พฤติกรรมต่าง ๆ ของผู้ใช้งาน ไม่ใช่เพียงเท่านั้น ทุกวันนี้ AI ยังสามารถทำข้อสอบ เอกสาร สร้างรูปภาพ วิดีโอ ทำให้ภาครัฐต้องเข้ามาดูแล เช่น

  • ปกป้องสิทธิและเสรีภาพของประชาชน : AI สามารถนำมาประยุกต์ใช้เพื่อตรวจสอบข้อมูลส่วนบุคคล วิเคราะห์พฤติกรรม หรือแม้แต่ตัดสินใจแทนมนุษย์ กฎหมาย AI จึงมีบทบาทสำคัญในการปกป้องสิทธิและเสรีภาพของประชาชน เช่น สิทธิความเป็นส่วนตัว สิทธิในการเลือก สิทธิความเท่าเทียม เป็นต้น
  • ส่งเสริมความยุติธรรมและเท่าเทียม : AI สามารถนำมาใช้ในการตัดสินใจหรือวิเคราะห์ข้อมูล ซึ่งอาจนำไปสู่ความเหลื่อมล้ำหรือการเลือกปฏิบัติ กฎหมาย AI อาจจะเข้ามาควบคุมหรือกำหนดความเท่าเทียม
  • ป้องกันการละเมิดกฎหมายและความปลอดภัย : AI สามารถนำมาใช้ในการกระทำผิดกฎหมายหรือละเมิดความปลอดภัยสาธารณะ เช่น การใช้ AI เพื่อสร้างข่าวปลอม หรือการใช้ AI ในการโจมตีทางไซเบอร์ ไม่งั้นอาจจะเป็นภัยคุกคามความมั่นคงในอนาคตได้

กฎหมายเทคโนโลยีนี้จำเป็นที่จะต้องกำหนดขึ้น เนื่องจาก AI เป็นเทคโนโลยีที่มีความเสี่ยงสูงที่อาจก่อให้เกิดความเสียหายต่อบุคคลหรือสังคม รวมถึงการละเมิดสิทธิส่วนบุคคล เพราะ AI สามารถนำมาใช้ในการรวบรวมและวิเคราะห์ข้อมูลส่วนบุคคล ซึ่งอาจนำไปสู่การละเมิดสิทธิส่วนบุคคล เช่น การถูกติดตามพฤติกรรม การถูกเลือกปฏิบัติ เป็นต้น

ทั้งหมดที่นำเสนอไปนั้น เป็นเพียงส่วนหนึ่งของตัวอย่างกฎหมายที่เกี่ยวข้องกับ AI จากต่างประเทศ ซึ่งก็มีบางประเทศที่ผ่านกฎหมายเพื่อบังคับใช้และอยู่ระหว่างการดำเนินการ ด้วยความฉลาดของเทคโนโลยีที่มีข้อมูลมากมาย ทำให้หลายคนเริ่มตั้งคำถามเกี่ยวกับการควบคุมนี้ จึงจำเป็นต้องมีการกำกับ กฎระเบียบ และมาตรฐานร่วมกัน เพื่อมั่นใจได้ว่าเทคโนโลยีนี้มีความปลอดภัยและไม่เกิดผลเสียต่อผู้ใช้งาน

แหล่งข้อมูล

1.etda

2.nectec

 


  • 2
  •  
  •  
  •  
  •