CoScripter: Mengotomasi & Berbagi How-To Pengetahuan
di Enterprise
PENDAHULUAN
Karyawan di perusahaan modern terlibat dalam berbagai
proses berbasis web sebagai bagian dari pekerjaan sehari- hari mereka .
Beberapa dari proses ini harus dilakukan sering dan
yang membosankan (misalnya , pemesanan ruang konferensi ) . Lainnya adalah
kurang sering terjadi tetapi dapat sulit untuk dilakukan karena membutuhkan pengetahuan domain yang rumit ( misalnya , penggantian biaya , pengadaan ) , sulit untuk menemukan ( misalnya , memilih penerima manfaat asuransi ) , atau terlalu rumit untuk diingat .
Otomasi dapat membantu pengguna proses berbasis web lengkap
lebih cepat . Namun, kebanyakan orang tidak memiliki keterampilan yang diperlukan untuk mengembangkan otomatisasi kustom . Selanjutnya, adalah
tidak mungkin bahwa bisnis akan menghabiskan sumber daya untuk mengembangkan
proses otomatis untuk semua tugas karena banyaknya
proses dan sifat mereka sering berubah [ 3,13 ] .
Jaringan sosial di tempat kerja dapat membantu dengan penciptaan dan
distribusi how-to pengetahuan [ 15 ] . Namun , seringkali karyawan mungkin tidak tahu siapa yang harus bertanya dan bahkan jika mereka tahu ,
itu membebani anggota yang berpengalaman dari sebuah komunitas .
Solusi kami untuk masalah ini adalah CoScripter (sebelumnya Koala [ 11 ] ) , alat yang memungkinkan pengguna akhir untuk membuat dan berbagi
script untuk melakukan proses berbasis web . CoScripter terdiri
dari dua komponen : ( 1 ) browser plug-in yang memungkinkan pengguna
untuk merekam dan memutar kembali tindakan di web browser , menyimpan
tindakan ini sebagai skrip teks terbaca-manusia , dan ( 2)
wiki yang berfungsi sebagai repositori pusat , di mana pengguna dapat
berbagi , mengedit, menilai, dan mencari script . CoScripter telah
digunakan dalam perusahaan besar sejak November 2006,
dan secara teratur digunakan oleh lebih dari 50 karyawan saat ini.
Dengan merekam tindakan pengguna , CoScripter menangkap how-to
pengetahuan, membantu mewujudkan pengetahuan tacit (yaitu , pengetahuan praktis yang ada di kepala orang ) di eksplisit
bentuk . Hal ini memungkinkan dialog yang berkelanjutan antara tacit dan
pengetahuan eksplisit , dan dengan demikian membangun organisasi
tubuh pengetahuan [ 17 ] , dengan menerjemahkan jenis
pengetahuan bolak-balik dan mengirimkan mereka di
organisasi . Selain itu, dengan berbagi pengetahuan ini
seluruh komunitas praktek, CoScripter mendukung
mentransfer praktek terbaik dalam suatu organisasi . Karena itu,
memiliki potensi untuk memecahkan apa yang Szulanski panggilan " internal yang
lengket , " yaitu, kesulitan dalam mentransfer praktis
pengetahuan.
Karyawan di perusahaan modern terlibat dalam berbagai
proses berbasis web sebagai bagian dari pekerjaan sehari- hari mereka .
Beberapa dari proses ini harus dilakukan sering dan
yang membosankan (misalnya , pemesanan ruang konferensi ) . Lainnya adalah
kurang sering terjadi tetapi dapat sulit untuk dilakukan karena membutuhkan pengetahuan domain yang rumit ( misalnya , penggantian biaya , pengadaan ) , sulit untuk menemukan ( misalnya , memilih penerima manfaat asuransi ) , atau terlalu rumit untuk diingat .
Otomasi dapat membantu pengguna proses berbasis web lengkap
lebih cepat . Namun, kebanyakan orang tidak memiliki keterampilan yang diperlukan untuk mengembangkan otomatisasi kustom . Selanjutnya, adalah
tidak mungkin bahwa bisnis akan menghabiskan sumber daya untuk mengembangkan
proses otomatis untuk semua tugas karena banyaknya
proses dan sifat mereka sering berubah [ 3,13 ] .
Jaringan sosial di tempat kerja dapat membantu dengan penciptaan dan
distribusi how-to pengetahuan [ 15 ] . Namun , seringkali karyawan mungkin tidak tahu siapa yang harus bertanya dan bahkan jika mereka tahu ,
itu membebani anggota yang berpengalaman dari sebuah komunitas .
Solusi kami untuk masalah ini adalah CoScripter (sebelumnya Koala [ 11 ] ) , alat yang memungkinkan pengguna akhir untuk membuat dan berbagi
script untuk melakukan proses berbasis web . CoScripter terdiri
dari dua komponen : ( 1 ) browser plug-in yang memungkinkan pengguna
untuk merekam dan memutar kembali tindakan di web browser , menyimpan
tindakan ini sebagai skrip teks terbaca-manusia , dan ( 2)
wiki yang berfungsi sebagai repositori pusat , di mana pengguna dapat
berbagi , mengedit, menilai, dan mencari script . CoScripter telah
digunakan dalam perusahaan besar sejak November 2006,
dan secara teratur digunakan oleh lebih dari 50 karyawan saat ini.
Dengan merekam tindakan pengguna , CoScripter menangkap how-to
pengetahuan, membantu mewujudkan pengetahuan tacit (yaitu , pengetahuan praktis yang ada di kepala orang ) di eksplisit
bentuk . Hal ini memungkinkan dialog yang berkelanjutan antara tacit dan
pengetahuan eksplisit , dan dengan demikian membangun organisasi
tubuh pengetahuan [ 17 ] , dengan menerjemahkan jenis
pengetahuan bolak-balik dan mengirimkan mereka di
organisasi . Selain itu, dengan berbagi pengetahuan ini
seluruh komunitas praktek, CoScripter mendukung
mentransfer praktek terbaik dalam suatu organisasi . Karena itu,
memiliki potensi untuk memecahkan apa yang Szulanski panggilan " internal yang
lengket , " yaitu, kesulitan dalam mentransfer praktis
pengetahuan.
HUBUNGAN
KERJA
Berikut ini kami sajikan sebelum bekerja berhubungan dengan kami tiga kontribusi utama : Studi pengguna sistem pemrograman end -user untuk
yang studi wawancara kami kedua menambahkan temuan baru , studi empiris berbagi pengetahuan organisasi , pada
yang studi wawancara pertama kami membangun , dan alat untuk otomatisasi dan berbagi , seperti CoScripter .
Studi Empiris Organisasi Knowledge Sharing
Manajemen Pengetahuan mempertimbangkan bagaimana organisasi mewakili, membuat, dan menyebarkan pengetahuan untuk meningkatkan mereka
saing dalam dunia bisnis [ 5 , 18 , 20 ] . empiris
penelitian yang umum (lihat review di [ 2 ] ) , seperti studi
transfer pengetahuan internal yang [ 22 ] bahwa mencari penyebab
" Informasi lengket . "
Studi terdahulu membantu kita untuk memahami praktek berbagi pengetahuan howto dalam organisasi . Edwards dan Mahling [ 8 ]
menyajikan serangkaian praktek untuk berbagi pengetahuan prosedural
di kantor-kantor hukum, tetapi analisis mereka tidak didasarkan pada metode empiris . Penelitian lain telah disajikan analisis didasarkan
studi lapangan praktek berbagi pengetahuan umum dan
kebutuhan dalam pekerjaan karyawan [ 1,10,14 ] , faktual , ilmiah
berbagi pengetahuan [ 4 ] , dan pengembangan FAQ dan berbagi
[ 9 ] . Mungkin yang paling terkait adalah studi bidang teknisi dan praktek mereka dalam mencari informasi untuk memecahkan
masalah [ 23 ] . Namun, fokus pada komunitas kecil
dan pemecahan masalah yang spesifik praktek .
Berikut ini kami sajikan sebelum bekerja berhubungan dengan kami tiga kontribusi utama : Studi pengguna sistem pemrograman end -user untuk
yang studi wawancara kami kedua menambahkan temuan baru , studi empiris berbagi pengetahuan organisasi , pada
yang studi wawancara pertama kami membangun , dan alat untuk otomatisasi dan berbagi , seperti CoScripter .
Studi Empiris Organisasi Knowledge Sharing
Manajemen Pengetahuan mempertimbangkan bagaimana organisasi mewakili, membuat, dan menyebarkan pengetahuan untuk meningkatkan mereka
saing dalam dunia bisnis [ 5 , 18 , 20 ] . empiris
penelitian yang umum (lihat review di [ 2 ] ) , seperti studi
transfer pengetahuan internal yang [ 22 ] bahwa mencari penyebab
" Informasi lengket . "
Studi terdahulu membantu kita untuk memahami praktek berbagi pengetahuan howto dalam organisasi . Edwards dan Mahling [ 8 ]
menyajikan serangkaian praktek untuk berbagi pengetahuan prosedural
di kantor-kantor hukum, tetapi analisis mereka tidak didasarkan pada metode empiris . Penelitian lain telah disajikan analisis didasarkan
studi lapangan praktek berbagi pengetahuan umum dan
kebutuhan dalam pekerjaan karyawan [ 1,10,14 ] , faktual , ilmiah
berbagi pengetahuan [ 4 ] , dan pengembangan FAQ dan berbagi
[ 9 ] . Mungkin yang paling terkait adalah studi bidang teknisi dan praktek mereka dalam mencari informasi untuk memecahkan
masalah [ 23 ] . Namun, fokus pada komunitas kecil
dan pemecahan masalah yang spesifik praktek .
Peserta
Kami merekrut 18 karyawan dari perusahaan besar di
yang CoScripter ditempatkan . Karena tujuan kami adalah untuk memahami penggunaan proses bisnis dan berbagi , kami menghubungi
karyawan yang akrab dengan proses bisnis organisasi dan untuk siapa prosedur adalah substansial
bagian dari pekerjaan sehari-hari mereka . Peserta kami telah bekerja di
perusahaan selama rata-rata 19,4 tahun ( mulai dari
beberapa minggu sampai 31 tahun , dengan rata-rata 24 tahun ) . duabelas
peserta adalah perempuan . Tujuh peserta menjabat sebagai asisten manajer , baik administratif maupun teknis; 6 diadakan
posisi teknologi seperti insinyur dan administrator sistem , 3 adalah manajer , dan 2 diadakan sumber daya manusia
posisi . Kecenderungan teknologi berkisar dari insinyur dan administrator sistem di ujung tinggi untuk asisten administrasi di ujung rendah . Semua kecuali dua bekerja di
situs yang sama dalam organisasi .
metode
Kami bertemu peserta kami di kantor mereka . wawancara kami
semi- terstruktur , kami meminta peserta tentang mereka
pekerjaan sehari-hari , mengarahkan mereka untuk membahas proses yang mereka lakukan keduanya
sering dan jarang . Kami mendorong peserta todemonstrate bagaimana mereka melaksanakan prosedur ini, dan
diperiksa untuk menentukan bagaimana mereka memperoleh pengetahuan untuk
melakukan mereka dan praktik mereka untuk berbagi mereka . sesi
berlangsung sekitar satu jam dan video rekaman
dengan izin peserta ( hanya satu peserta yang menurun
untuk direkam ) .
Kami merekrut 18 karyawan dari perusahaan besar di
yang CoScripter ditempatkan . Karena tujuan kami adalah untuk memahami penggunaan proses bisnis dan berbagi , kami menghubungi
karyawan yang akrab dengan proses bisnis organisasi dan untuk siapa prosedur adalah substansial
bagian dari pekerjaan sehari-hari mereka . Peserta kami telah bekerja di
perusahaan selama rata-rata 19,4 tahun ( mulai dari
beberapa minggu sampai 31 tahun , dengan rata-rata 24 tahun ) . duabelas
peserta adalah perempuan . Tujuh peserta menjabat sebagai asisten manajer , baik administratif maupun teknis; 6 diadakan
posisi teknologi seperti insinyur dan administrator sistem , 3 adalah manajer , dan 2 diadakan sumber daya manusia
posisi . Kecenderungan teknologi berkisar dari insinyur dan administrator sistem di ujung tinggi untuk asisten administrasi di ujung rendah . Semua kecuali dua bekerja di
situs yang sama dalam organisasi .
metode
Kami bertemu peserta kami di kantor mereka . wawancara kami
semi- terstruktur , kami meminta peserta tentang mereka
pekerjaan sehari-hari , mengarahkan mereka untuk membahas proses yang mereka lakukan keduanya
sering dan jarang . Kami mendorong peserta todemonstrate bagaimana mereka melaksanakan prosedur ini, dan
diperiksa untuk menentukan bagaimana mereka memperoleh pengetahuan untuk
melakukan mereka dan praktik mereka untuk berbagi mereka . sesi
berlangsung sekitar satu jam dan video rekaman
dengan izin peserta ( hanya satu peserta yang menurun
untuk direkam ) .
Hasil
Kami menganalisis data yang dikumpulkan dalam penelitian ini dengan hati-hati memeriksa bahan - video rekaman, transkrip mereka, dan
catatan lapangan. Kami kode bahan, menandai poin dan
Tema yang dimaksud tujuan penelitian eksplorasi kami: (1)
umum, proses bisnis penting, dan (2) praktek
dan kebutuhan untuk belajar dan berbagi proses.
Perhatikan bahwa dengan metode studi kami, kami tidak memeriksa
spektrum penuh praktek yang diwawancarai, tetapi hanya mereka
bahwa mereka memilih untuk berbicara tentang dan menunjukkan. Meskipun demikian,
untuk beberapa temuan kami menyajikan hasil dihitung berdasarkan
pada data kode. Dalam sisa kertas, di mana pun referensi dibuat untuk peserta tertentu, mereka diidentifikasi oleh
kode terdiri dari dua huruf dan angka.
Kami menganalisis data yang dikumpulkan dalam penelitian ini dengan hati-hati memeriksa bahan - video rekaman, transkrip mereka, dan
catatan lapangan. Kami kode bahan, menandai poin dan
Tema yang dimaksud tujuan penelitian eksplorasi kami: (1)
umum, proses bisnis penting, dan (2) praktek
dan kebutuhan untuk belajar dan berbagi proses.
Perhatikan bahwa dengan metode studi kami, kami tidak memeriksa
spektrum penuh praktek yang diwawancarai, tetapi hanya mereka
bahwa mereka memilih untuk berbicara tentang dan menunjukkan. Meskipun demikian,
untuk beberapa temuan kami menyajikan hasil dihitung berdasarkan
pada data kode. Dalam sisa kertas, di mana pun referensi dibuat untuk peserta tertentu, mereka diidentifikasi oleh
kode terdiri dari dua huruf dan angka.
Diskusi
Studi 1 telah menunjukkan bahwa ada kebutuhan untuk alat-alat yang mendukung
otomatisasi dan berbagi bagaimana-untuk pengetahuan dalam
perusahaan . Kami mengamati inti set proses yang digunakan oleh
banyak peserta , serta proses kurang umum . Proses yang sering digunakan peserta dianggap rutin dan membosankan , sedangkan yang lain dianggap keras toremember . Mengotomatisasi prosedur tersebut bisa mempercepat
prosedur sering dan mengatasi masalah mengingat
sulit mengingat tugas .
Data kami juga menunjukkan bahwa solusi yang ada tidak cukup mendukung kebutuhan orang-orang belajar proses baru .
Meskipun repositori kaya dan ikatan sosial dengan para ahli , mentor , dan rekan , orang terbiasa menerapkan trial-and -error
dalam belajar bagaimana untuk melakukan tugas mereka . mekanisme baru
diperlukan untuk mengumpulkan pengetahuan prosedural untuk membantu
orang menemukan dan belajar dari itu .
Kami juga menemukan bahwa orang-orang yang sumber how-to
pengetahuan yang dibutuhkan cara yang lebih baik untuk menangkap dan berbagi
pengetahuan mereka . Orang-orang yang dipenuhi dengan menulis
instruksi panjang, mempertahankan repositori dengan " terbaik
praktek , "dan menanggapi permintaan dari orang lain . juga ,
distribusi pengetahuan mereka dibatasi karena keterbatasan
penggunaan repositori dan batas pada waktu mereka bisa menghabiskan
membantu orang lain . Dengan demikian , mengotomatisasi penciptaan dan berbagi instruksi dapat membantu ahli dalam menyediakan mereka
pengetahuan kepada masyarakat dan kolega mereka.
Kita sekarang beralih ke menggambarkan CoScripter , sistem kami kembangkan untuk mendukung kebutuhan ditemukan dalam wawancara kami .
Studi 1 telah menunjukkan bahwa ada kebutuhan untuk alat-alat yang mendukung
otomatisasi dan berbagi bagaimana-untuk pengetahuan dalam
perusahaan . Kami mengamati inti set proses yang digunakan oleh
banyak peserta , serta proses kurang umum . Proses yang sering digunakan peserta dianggap rutin dan membosankan , sedangkan yang lain dianggap keras toremember . Mengotomatisasi prosedur tersebut bisa mempercepat
prosedur sering dan mengatasi masalah mengingat
sulit mengingat tugas .
Data kami juga menunjukkan bahwa solusi yang ada tidak cukup mendukung kebutuhan orang-orang belajar proses baru .
Meskipun repositori kaya dan ikatan sosial dengan para ahli , mentor , dan rekan , orang terbiasa menerapkan trial-and -error
dalam belajar bagaimana untuk melakukan tugas mereka . mekanisme baru
diperlukan untuk mengumpulkan pengetahuan prosedural untuk membantu
orang menemukan dan belajar dari itu .
Kami juga menemukan bahwa orang-orang yang sumber how-to
pengetahuan yang dibutuhkan cara yang lebih baik untuk menangkap dan berbagi
pengetahuan mereka . Orang-orang yang dipenuhi dengan menulis
instruksi panjang, mempertahankan repositori dengan " terbaik
praktek , "dan menanggapi permintaan dari orang lain . juga ,
distribusi pengetahuan mereka dibatasi karena keterbatasan
penggunaan repositori dan batas pada waktu mereka bisa menghabiskan
membantu orang lain . Dengan demikian , mengotomatisasi penciptaan dan berbagi instruksi dapat membantu ahli dalam menyediakan mereka
pengetahuan kepada masyarakat dan kolega mereka.
Kita sekarang beralih ke menggambarkan CoScripter , sistem kami kembangkan untuk mendukung kebutuhan ditemukan dalam wawancara kami .
COSCRIPTER: KOLABORATIF SCRIPTING
CoScripter adalah sistem yang memungkinkan pengguna untuk merekam, memutar
kembali, mengedit, dan berbagi tugas berbasis web. Sebuah kertas sebelumnya menjelaskan secara lebih rinci mekanisme untuk merekam, playback, interpretasi ceroboh, dan script personalisasi [11].
Kami meringkas mekanisme di bawah ini.
CoScripter termasuk plug-in untuk browser Firefox,
yang muncul sebagai browser sidebar (Gambar 3). Plug-in ini
dapat merekam tindakan pengguna di browser dan bermain mereka
kembali di lain waktu. Tindakan pengguna dicatat sebagai petunjuk pseudonatural-bahasa seperti "pergi ke
http://portal.acm.org "dan" klik tombol Search. "Karena instruksi ini adalah murni tekstual, dan tidak memerlukan sintaks yang tepat, script CoScripter dapat dibaca dan
dimodifikasi oleh orang semudah membaca dan mengedit teks.
CoScripter adalah sistem yang memungkinkan pengguna untuk merekam, memutar
kembali, mengedit, dan berbagi tugas berbasis web. Sebuah kertas sebelumnya menjelaskan secara lebih rinci mekanisme untuk merekam, playback, interpretasi ceroboh, dan script personalisasi [11].
Kami meringkas mekanisme di bawah ini.
CoScripter termasuk plug-in untuk browser Firefox,
yang muncul sebagai browser sidebar (Gambar 3). Plug-in ini
dapat merekam tindakan pengguna di browser dan bermain mereka
kembali di lain waktu. Tindakan pengguna dicatat sebagai petunjuk pseudonatural-bahasa seperti "pergi ke
http://portal.acm.org "dan" klik tombol Search. "Karena instruksi ini adalah murni tekstual, dan tidak memerlukan sintaks yang tepat, script CoScripter dapat dibaca dan
dimodifikasi oleh orang semudah membaca dan mengedit teks.
Survei
Email Pengguna murtad
Untuk mempelajari mengapa karyawan berhenti menggunakan CoScripter , kami kirimkan
survei email singkat ke semua peneliti dan pengguna terakhir,
mencatat kurangnya penggunaan terakhir dan meminta alasan yang
CoScripter mungkin tidak memenuhi kebutuhan mereka . Tiga puluh orang
menjawab, dan 23 memberikan satu atau lebih alasan yang berkaitan dengan CoScripter . Dari topik yang disebutkan , sepuluh orang menggambarkan masalah keandalan mana CoScripter tidak bekerja secara konsisten , atau tidak menangani khususnya fitur halaman web ( misalnya ,
popup jendela dan tombol gambar) , lima orang mengatakan mereka
tugas yang diperlukan fitur canggih tidak didukung dalam CoScripter ( yang paling sering diminta adalah parameter , iterasi ,
dan bercabang ) , tiga orang melaporkan masalah koordinasi script inisiatif campuran, di mana pengguna dan CoScripter
tindakan alternatif , dan dua memiliki masalah privasi ( yaitu , mereka
tidak suka skrip menjadi publik secara default ) . Akhirnya , tujuh
orang melaporkan bahwa pekerjaan mereka tidak melibatkan cukup tugas
cocok untuk otomatisasi menggunakan CoScripter .
Untuk mempelajari mengapa karyawan berhenti menggunakan CoScripter , kami kirimkan
survei email singkat ke semua peneliti dan pengguna terakhir,
mencatat kurangnya penggunaan terakhir dan meminta alasan yang
CoScripter mungkin tidak memenuhi kebutuhan mereka . Tiga puluh orang
menjawab, dan 23 memberikan satu atau lebih alasan yang berkaitan dengan CoScripter . Dari topik yang disebutkan , sepuluh orang menggambarkan masalah keandalan mana CoScripter tidak bekerja secara konsisten , atau tidak menangani khususnya fitur halaman web ( misalnya ,
popup jendela dan tombol gambar) , lima orang mengatakan mereka
tugas yang diperlukan fitur canggih tidak didukung dalam CoScripter ( yang paling sering diminta adalah parameter , iterasi ,
dan bercabang ) , tiga orang melaporkan masalah koordinasi script inisiatif campuran, di mana pengguna dan CoScripter
tindakan alternatif , dan dua memiliki masalah privasi ( yaitu , mereka
tidak suka skrip menjadi publik secara default ) . Akhirnya , tujuh
orang melaporkan bahwa pekerjaan mereka tidak melibatkan cukup tugas
cocok untuk otomatisasi menggunakan CoScripter .
KESIMPULAN
Dalam sains dan teknik. Prosiding GROUP'03 .
Berbagi dan otomatisasi bagaimana-untuk pengetahuan adalah kebutuhan penting , terutama bagi pekerja perusahaan yang berinteraksi
dengan proses perusahaan setiap hari . Dalam tulisan ini , kami
melaporkan pada studi yang user awal yang perlu ditetapkan pengguna
untuk mengotomatisasi sering dan sulit mengingat proses ,
dan untuk berbagi bagaimana-untuk pengetahuan dengan orang lain . Kami disajikan CoScripter , alat berbasis web untuk menangkap , bermain
kembali , dan skrip sharing untuk menyelesaikan tugas-tugas berbasis web .
Berdasarkan analisis data log dan wawancara dengan pengguna aktif ,
kami menemukan bahwa orang-orang telah berhasil menggunakan CoScripter untuk
mengotomatisasi sering dan sulit mengingat tugas, dan berbagi
bagaimana-untuk pengetahuan dengan orang lain . Selain itu , analisis kami menunjukkan bahwa pertumbuhan jumlah pengguna yang menggabungkan CoScripter ke dalam praktek kerja mereka . Dengan menurunkan penghalang untuk
otomatisasi , CoScripter memungkinkan pengguna untuk menghemat waktu dan usaha menangkap dan menggunakan kembali pengetahuan prosedural , dan
lebih mudah berbagi pengetahuan dengan orang lain .
Dalam sains dan teknik. Prosiding GROUP'03 .
Berbagi dan otomatisasi bagaimana-untuk pengetahuan adalah kebutuhan penting , terutama bagi pekerja perusahaan yang berinteraksi
dengan proses perusahaan setiap hari . Dalam tulisan ini , kami
melaporkan pada studi yang user awal yang perlu ditetapkan pengguna
untuk mengotomatisasi sering dan sulit mengingat proses ,
dan untuk berbagi bagaimana-untuk pengetahuan dengan orang lain . Kami disajikan CoScripter , alat berbasis web untuk menangkap , bermain
kembali , dan skrip sharing untuk menyelesaikan tugas-tugas berbasis web .
Berdasarkan analisis data log dan wawancara dengan pengguna aktif ,
kami menemukan bahwa orang-orang telah berhasil menggunakan CoScripter untuk
mengotomatisasi sering dan sulit mengingat tugas, dan berbagi
bagaimana-untuk pengetahuan dengan orang lain . Selain itu , analisis kami menunjukkan bahwa pertumbuhan jumlah pengguna yang menggabungkan CoScripter ke dalam praktek kerja mereka . Dengan menurunkan penghalang untuk
otomatisasi , CoScripter memungkinkan pengguna untuk menghemat waktu dan usaha menangkap dan menggunakan kembali pengetahuan prosedural , dan
lebih mudah berbagi pengetahuan dengan orang lain .
UCAPAN TERIMA KASIH
Kami berterima kasih kepada tim pengembangan CoScripter atas dukungan mereka dan semua yang kami wawancarai untuk waktu mereka. Berkat Jeremy Birnholtz, Eser Kandogan, Saeko Nomura dan kami
penelaah anonim untuk komentar wawasan mereka pada revisi sebelumnya dari makalah ini.
Kami berterima kasih kepada tim pengembangan CoScripter atas dukungan mereka dan semua yang kami wawancarai untuk waktu mereka. Berkat Jeremy Birnholtz, Eser Kandogan, Saeko Nomura dan kami
penelaah anonim untuk komentar wawasan mereka pada revisi sebelumnya dari makalah ini.
REFERENCES
1. Agostini, A., Albolino, S., De Michelis,
G., De Paoli, F., and
Dondi, R. Stimulating knowledge discovery and
sharing. Proceedings of GROUP’03.
2. Alavi, M., & Leidner, D.E. (2001).
Review: Knowledge management & knowledge management systems: Conceptual
foundations & research issues. MIS
Quarterly, 25(1), 107-137.
3. Anderson, C. (2006). The long tail: why the
future of business
is selling less of more. New York: Hyperion.
4. Birnholtz, J.P., & Bietz, M.J. Data at
work: supporting sharing
in science and engineering. Proceedings of
GROUP’03.
5. Brown, J.S., & Duguid, P. (2001).
Knowledge and organization: a social-practice perspective. Organization
Science,
12(2), 198-213.
6. Cyper, A. (1993). Watch What I Do:
Programming by Demonstration. Cambridge: MIT Press.
7. Dorn, B. and Guzdial, M. Graphic designers
who program as
informal computer science learners.
Proceedings of ICER’06.
8. Edwards, D.L., & Mahling, D.E. Toward
knowledge management systems in the legal domain. Proceedings of GROUP’97.
9. Halverson, C.A., Erickson, T., and
Ackerman, M.S. Behind
the helpdesk: evolution of knowledge
management system in a
large organization. Proceedings of CSCW’04.
10. Hoffmann, M., Loser, K., Walter, T., &
Herrmann, T. A design process for embedding knowledge management in everyday
work. Proceedings of GROUP’99.
11. Little, G., Lau, T.A., Cypher, A., Lin,
J., Haber, E.M., & Kandogan, E. Koala: capture, share, automate,
personalize business processes on the web. Proceedings of CHI’07.
12. Little, G., & Miller, R.C. Translating
Keyword Commands
into Executable Code. Proceedings of UIST’06.
13. Lochovsky, F.H., Woo, C.C., &
Williams, L.J. A microorganizational model for supporting knowledge migration.
Proceedings of SIGOIS’90.
14. Millen, D.R., & Fontaine, M.A.
Improving individual and
organizational performance through communities
of practice.
Proceedings of GROUP’03.
15. Nahapiet, J., & Ghoshal, S. (1998).
Social capital, intellectual
capital, and the organizational advantage. The
Academy of
Management Review, 23(2), 242-266.
16. Nardi, B.A. (1993). A small matter of
programming: perspectives on end-user computing. Cambridge: MIT Press.
17. Nonaka, I. (1994). A dynamic theory of
organizational knowledge creation. Organization Science, 5(1), 14-37.
18. Nonaka, I., and Takeuchi, H. (1995). The
knowledge-creating
company: how Japanese companies create the
dynamics of innovation. New York: Oxford University Press.
Heuristic
Evaluasi untuk Games:
Prinsip kegunaan untuk Video Game Design
Prinsip kegunaan untuk Video Game Design
PENDAHULUAN
Salah satu tujuan utama dalam desain video
game adalah untuk menghibur
dan melibatkan pengguna . Hal ini dapat melibatkan beberapa aspek
desain , termasuk cerita permainan , mondar-mandir , tingkat tantangan , dan
permainan mekanik [ 7 ] . Namun, karena kebanyakan game mengharuskan
interaksi terus-menerus , desainer game juga harus membayar hati
perhatian terhadap masalah kegunaan . Kegagalan untuk merancang permainan yang dapat digunakan
interface dapat mengganggu tujuan yang lebih besar untuk menciptakan
Pengalaman menarik bagi pengguna , dan dapat memiliki negatif
berpengaruh pada kualitas keseluruhan dan keberhasilan permainan .
Beberapa masalah kegunaan lihat di pertandingan adalah sama dengan yang
terlihat di daerah aplikasi lain, seperti kebutuhan untuk merancang
untuk konsistensi visual dan mudah dibaca . Namun , game juga
memiliki pertimbangan kegunaan yang tidak terlihat di lain
daerah . Misalnya , kesalahan pengguna biasanya tidak diinginkan dalam
domain lainnya , tetapi diharapkan dalam banyak pertandingan sejak mereka
dirancang untuk menantang pengguna dan memaksa mereka untuk
mengembangkan keterampilan baru sehingga mereka dapat mencapai dalam game
tujuan .
Desainer game membutuhkan metode untuk mengidentifikasi kegunaan
masalah baik dalam desain awal dan lebih matang
prototipe [ 7 ] . Playtesting adalah salah satu cara yang paling umum
untuk mengungkap masalah desain [ 13 ] , namun metode ini membutuhkan
prototipe dimainkan yang hanya ada pada tahap selanjutnya dari
proses pembangunan . Metode formal tidak ada untuk memungkinkan
desainer untuk melaksanakan inspeksi kegunaan lebih murah
permainan , dan untuk mengevaluasi awal , prototipe non-fungsional .
Selanjutnya , banyak teknik inspeksi kegunaan umum
tidak sesuai untuk pertandingan sejak mereka baik mengandalkan resmi
spesifikasi urutan tugas [ 3,4,19,29 ] atau berorientasi
sekitar konsep user interface yang digunakan dalam aplikasi desktop .
dan melibatkan pengguna . Hal ini dapat melibatkan beberapa aspek
desain , termasuk cerita permainan , mondar-mandir , tingkat tantangan , dan
permainan mekanik [ 7 ] . Namun, karena kebanyakan game mengharuskan
interaksi terus-menerus , desainer game juga harus membayar hati
perhatian terhadap masalah kegunaan . Kegagalan untuk merancang permainan yang dapat digunakan
interface dapat mengganggu tujuan yang lebih besar untuk menciptakan
Pengalaman menarik bagi pengguna , dan dapat memiliki negatif
berpengaruh pada kualitas keseluruhan dan keberhasilan permainan .
Beberapa masalah kegunaan lihat di pertandingan adalah sama dengan yang
terlihat di daerah aplikasi lain, seperti kebutuhan untuk merancang
untuk konsistensi visual dan mudah dibaca . Namun , game juga
memiliki pertimbangan kegunaan yang tidak terlihat di lain
daerah . Misalnya , kesalahan pengguna biasanya tidak diinginkan dalam
domain lainnya , tetapi diharapkan dalam banyak pertandingan sejak mereka
dirancang untuk menantang pengguna dan memaksa mereka untuk
mengembangkan keterampilan baru sehingga mereka dapat mencapai dalam game
tujuan .
Desainer game membutuhkan metode untuk mengidentifikasi kegunaan
masalah baik dalam desain awal dan lebih matang
prototipe [ 7 ] . Playtesting adalah salah satu cara yang paling umum
untuk mengungkap masalah desain [ 13 ] , namun metode ini membutuhkan
prototipe dimainkan yang hanya ada pada tahap selanjutnya dari
proses pembangunan . Metode formal tidak ada untuk memungkinkan
desainer untuk melaksanakan inspeksi kegunaan lebih murah
permainan , dan untuk mengevaluasi awal , prototipe non-fungsional .
Selanjutnya , banyak teknik inspeksi kegunaan umum
tidak sesuai untuk pertandingan sejak mereka baik mengandalkan resmi
spesifikasi urutan tugas [ 3,4,19,29 ] atau berorientasi
sekitar konsep user interface yang digunakan dalam aplikasi desktop .
EVALUASI kegunaan dan VIDEO GAMES
Teknik
inspeksi kegunaan memiliki potensi untuk
meningkatkan proses desain game . Tidak seperti playtesting [ 13 ] ,
mereka tidak perlu partisipasi pengguna , sehingga mereka dapat dilakukan
keluar dengan maket awal ( serta dengan fungsional
prototipe ) . Inspeksi kegunaan mengandalkan evaluator terampil
yang memeriksa antarmuka pengguna dan mengidentifikasi kegunaan
masalah . Mereka adalah murah dan dapat dilakukan dalam
waktu singkat , sehingga inspeksi dapat digunakan secara iteratif
selama proses desain [ 24 ] .
Teknik inspeksi kegunaan yang paling saat ini tidak
sesuai untuk pertandingan sejak pertimbangan desain
signifikan berbeda dari yang terlihat pada aplikasi lain .
Teknik seperti walkthrough kognitif [ 19,29 ] ,
pluralistik walkthrough [3,4 ] , dan analisis tugas [ 1,30 ] adalah
sebagian didasarkan pada asumsi bahwa orang akan menggunakan
aplikasi untuk melaksanakan tugas-tugas yang telah ditentukan . Namun,
gagasan urutan tugas belum tentu berguna dalam permainan
karena orang bermain mereka berbeda tergantung pada mereka
strategi atau motivasi , lebih lanjut , beberapa permainan yang dirancang untuk
meningkatkan eksplorasi terstruktur , yang berarti bahwa
variabilitas yang signifikan dapat dilihat pada bagaimana orang memilih untuk
berinteraksi dengan antarmuka game.
meningkatkan proses desain game . Tidak seperti playtesting [ 13 ] ,
mereka tidak perlu partisipasi pengguna , sehingga mereka dapat dilakukan
keluar dengan maket awal ( serta dengan fungsional
prototipe ) . Inspeksi kegunaan mengandalkan evaluator terampil
yang memeriksa antarmuka pengguna dan mengidentifikasi kegunaan
masalah . Mereka adalah murah dan dapat dilakukan dalam
waktu singkat , sehingga inspeksi dapat digunakan secara iteratif
selama proses desain [ 24 ] .
Teknik inspeksi kegunaan yang paling saat ini tidak
sesuai untuk pertandingan sejak pertimbangan desain
signifikan berbeda dari yang terlihat pada aplikasi lain .
Teknik seperti walkthrough kognitif [ 19,29 ] ,
pluralistik walkthrough [3,4 ] , dan analisis tugas [ 1,30 ] adalah
sebagian didasarkan pada asumsi bahwa orang akan menggunakan
aplikasi untuk melaksanakan tugas-tugas yang telah ditentukan . Namun,
gagasan urutan tugas belum tentu berguna dalam permainan
karena orang bermain mereka berbeda tergantung pada mereka
strategi atau motivasi , lebih lanjut , beberapa permainan yang dirancang untuk
meningkatkan eksplorasi terstruktur , yang berarti bahwa
variabilitas yang signifikan dapat dilihat pada bagaimana orang memilih untuk
berinteraksi dengan antarmuka game.
DESAIN PRINSIP
UNTUK VIDEO GAMES
Pertimbangan desain untuk video game yang berbeda dari
orang-orang dari jenis lain dari perangkat lunak [ 2,16,17 ] . Ini berarti bahwa
prinsip-prinsip baru yang dibutuhkan untuk desain game dan evaluasi .
Kerja masa lalu pada desain game telah terutama difokuskan pada
keterlibatan dan hiburan masalah , dan sebagian peneliti
belum mempertimbangkan kegunaan secara rinci .
Malone [ 20 ] mengembangkan seperangkat pedoman untuk merancang
interface menyenangkan , dan mereka sebagian didasarkan pada
studi permainan pendidikan . Penelitiannya difokuskan pada
desain perangkat lunak secara umum , bukan pada identifikasi
prinsip-prinsip yang dapat diterapkan pada permainan lainnya . Clanton [ 5 ]
mengembangkan seperangkat prinsip-prinsip desain permainan yang memiliki
fokus yang sama dengan pekerjaan Malone . Prinsip-prinsipnya didasarkan
pada introspeksi dan pemeriksaan informal beberapa
game . Desain alamat prinsip Clanton bagaimana game dapat
harus dirancang untuk melibatkan pengguna ( misalnya " tekanan bisa menyenangkan " dan
" Menghindari linear , mondar-mandir monoton " ) . Mereka tidak
menekankan masalah kegunaan , walaupun beberapa terkait
konsep yang dibahas secara singkat ( misalnya " kebingungan tidak menyenangkan " ,
" Memberikan lembut di-jalan " ) .
orang-orang dari jenis lain dari perangkat lunak [ 2,16,17 ] . Ini berarti bahwa
prinsip-prinsip baru yang dibutuhkan untuk desain game dan evaluasi .
Kerja masa lalu pada desain game telah terutama difokuskan pada
keterlibatan dan hiburan masalah , dan sebagian peneliti
belum mempertimbangkan kegunaan secara rinci .
Malone [ 20 ] mengembangkan seperangkat pedoman untuk merancang
interface menyenangkan , dan mereka sebagian didasarkan pada
studi permainan pendidikan . Penelitiannya difokuskan pada
desain perangkat lunak secara umum , bukan pada identifikasi
prinsip-prinsip yang dapat diterapkan pada permainan lainnya . Clanton [ 5 ]
mengembangkan seperangkat prinsip-prinsip desain permainan yang memiliki
fokus yang sama dengan pekerjaan Malone . Prinsip-prinsipnya didasarkan
pada introspeksi dan pemeriksaan informal beberapa
game . Desain alamat prinsip Clanton bagaimana game dapat
harus dirancang untuk melibatkan pengguna ( misalnya " tekanan bisa menyenangkan " dan
" Menghindari linear , mondar-mandir monoton " ) . Mereka tidak
menekankan masalah kegunaan , walaupun beberapa terkait
konsep yang dibahas secara singkat ( misalnya " kebingungan tidak menyenangkan " ,
" Memberikan lembut di-jalan " ) .
Gambaran Umum
Proses Penelitian
Metode kami untuk mendefinisikan permainan heuristik
kegunaan adalah
awalnya didorong oleh pendekatan yang digunakan oleh Nielsen ketika ia
didefinisikan satu set baru tujuan umum heuristik [ 23 ] . dia
dievaluasi beberapa set yang ada heuristik untuk menentukan
mana yang menyediakan " cakupan terluas jelas "
satu set 249 masalah kegunaan . Pertimbangan kami adalah
agak berbeda , namun, karena literatur tentang kegunaan
heuristik untuk permainan terbatas, dan karena penelitian kegunaan
masalah dalam permainan sebelumnya belum pernah dilaporkan dalam
detail.
Pendekatan kami lebih erat selaras dengan yang dijelaskan oleh
Dykstra [ 10 ] , yang menunjukkan bahwa heuristik dapat dikembangkan
untuk kategori perangkat lunak tertentu dengan mengevaluasi ada
produk , dan dengan mengembangkan prinsip-prinsip yang menggambarkan
masalah kegunaan yang ditemukan . Namun, mengingat lebar
variabilitas yang kami harapkan untuk melihat dalam permainan kegunaan
masalah , melaksanakan evaluasi diri kita sendiri tidak
praktis. Kita diharapkan untuk melihat variasi yang signifikan dalam
masalah kegunaan ditemukan baik antara permainan , dan antara
genre game . Oleh karena itu, kami merasa bahwa kami membutuhkan luas
cakupan ruang desain , dan bahwa kita perlu untuk memasukkan
sejumlah besar game yang mewakili permainan utama
genre .
Proses yang digunakan untuk mengembangkan heuristik memiliki tiga
langkah utama :
1 . Mengidentifikasi masalah nyata kegunaan dunia yang menyediakan
luas dan mendalam dari ruang desain permainan
2 . Mengembangkan seperangkat kategori kelompok kegunaan yang sama
masalah
3 . Buat heuristik yang merupakan kebalikan dari masalah
kategori dan yang menggambarkan bagaimana kegunaan umum
masalah dapat dihindari .
awalnya didorong oleh pendekatan yang digunakan oleh Nielsen ketika ia
didefinisikan satu set baru tujuan umum heuristik [ 23 ] . dia
dievaluasi beberapa set yang ada heuristik untuk menentukan
mana yang menyediakan " cakupan terluas jelas "
satu set 249 masalah kegunaan . Pertimbangan kami adalah
agak berbeda , namun, karena literatur tentang kegunaan
heuristik untuk permainan terbatas, dan karena penelitian kegunaan
masalah dalam permainan sebelumnya belum pernah dilaporkan dalam
detail.
Pendekatan kami lebih erat selaras dengan yang dijelaskan oleh
Dykstra [ 10 ] , yang menunjukkan bahwa heuristik dapat dikembangkan
untuk kategori perangkat lunak tertentu dengan mengevaluasi ada
produk , dan dengan mengembangkan prinsip-prinsip yang menggambarkan
masalah kegunaan yang ditemukan . Namun, mengingat lebar
variabilitas yang kami harapkan untuk melihat dalam permainan kegunaan
masalah , melaksanakan evaluasi diri kita sendiri tidak
praktis. Kita diharapkan untuk melihat variasi yang signifikan dalam
masalah kegunaan ditemukan baik antara permainan , dan antara
genre game . Oleh karena itu, kami merasa bahwa kami membutuhkan luas
cakupan ruang desain , dan bahwa kita perlu untuk memasukkan
sejumlah besar game yang mewakili permainan utama
genre .
Proses yang digunakan untuk mengembangkan heuristik memiliki tiga
langkah utama :
1 . Mengidentifikasi masalah nyata kegunaan dunia yang menyediakan
luas dan mendalam dari ruang desain permainan
2 . Mengembangkan seperangkat kategori kelompok kegunaan yang sama
masalah
3 . Buat heuristik yang merupakan kebalikan dari masalah
kategori dan yang menggambarkan bagaimana kegunaan umum
masalah dapat dihindari .
CHI 2008 Prosiding
• Game Zone
1 . Memberikan respon yang konsisten untuk tindakan
pengguna .
Permainan harus menanggapi tindakan pengguna dengan cara yang dapat diprediksi . Mekanika dasar , seperti deteksi hit , permainan fisika ,
gerakan karakter , dan perilaku musuh , semua harus sesuai dengan situasi yang dihadapi pengguna . pertandingan
juga harus memberikan masukan yang konsisten pemetaan sehingga tindakan pengguna selalu memberikan hasil yang diharapkan .
2 . Memungkinkan pengguna untuk menyesuaikan pengaturan video dan audio , kesulitan dan kecepatan permainan .
Pengaturan video dan audio, dan tingkat kesulitan dan kecepatan permainan terlihat pada game yang tidak sesuai untuk semua pengguna .
Sistem tersebut harus memungkinkan orang untuk menyesuaikan berbagai pengaturan sehingga permainan mengakomodasi kebutuhan masing-masing .
3 . Menyediakan perilaku diprediksi dan masuk akal untuk unit komputer dikendalikan .
Dalam banyak permainan , komputer membantu pengguna mengontrol pergerakan karakter mereka , sekelompok kecil rekan tim , atau
dari sejumlah besar unit . Dikendalikan unit komputer harus berperilaku dengan cara yang dapat diprediksi , dan pengguna tidak harus
terpaksa mengeluarkan perintah ekstra untuk memperbaiki kecerdasan buatan rusak . Permainan harus mengontrol unit sehingga merintis jalan
dan perilaku lain yang wajar untuk situasi dalam game .
4 . Memberikan pandangan terhalang yang sesuai untuk tindakan saat ini pengguna
Kebanyakan game menyediakan pengguna dengan representasi visual (yaitu " pandangan " ) dari lokasi virtual yang pengguna saat ini
menempati . Permainan harus memberikan pandangan yang memungkinkan pengguna untuk memiliki tampilan, jelas terhalang daerah , dan semua
informasi visual yang terkait dengan lokasi . Tampilan juga harus dirancang sedemikian rupa sehingga mereka cocok untuk kegiatan
bahwa pengguna melakukan dalam permainan . Misalnya, dalam permainan 3D sudut kamera yang berbeda mungkin diperlukan untuk melompat
urutan , untuk memerangi urutan , dan untuk kamar kecil dan besar .
5 . Memungkinkan pengguna untuk melewatkan konten non - dimainkan dan sering diulang .
Banyak permainan termasuk audio yang panjang dan urutan video , atau jenis lain dari konten non - interaktif . Permainan harus memungkinkan
pengguna untuk melewatkan konten non-dimainkan sehingga tidak mengganggu gameplay .
6 . Memberikan pemetaan masukan intuitif dan disesuaikan .
Kebanyakan game membutuhkan tanggapan yang cepat dari pengguna , sehingga pemetaan input harus dirancang sedemikian rupa sehingga pengguna dapat mengeluarkan perintah
cepat dan akurat . Pemetaan harus mudah untuk belajar dan harus intuitif untuk digunakan , memanfaatkan hubungan spasial
( tombol up di atas tombol bawah , dll ) dan pasangan alam lainnya . Mereka juga harus mengadopsi konvensi masukan yang
yang umum di game sejenis lainnya ( misalnya banyak penembak orang pertama dan permainan strategi real-time menggunakan input yang sama
skema ) . Permainan harus memungkinkan pengguna untuk remap pengaturan masukan , harus mendukung perangkat input standar (misalnya tikus ,
Keyboard , gamepad ) , dan harus menyediakan cara pintas untuk pemain ahli .
7 . Menyediakan kontrol yang mudah untuk mengelola , dan yang memiliki tingkat yang sesuai kepekaan dan responsif .
Banyak permainan memungkinkan pengguna untuk mengontrol avatar seperti karakter atau kendaraan . Kontrol untuk avatar harus dirancang sedemikian rupa sehingga
mereka mudah bagi pengguna untuk mengelola , yaitu mereka yang tidak terlalu sensitif atau tidak responsif . Ketika kontrol didasarkan pada real
interaksi dunia , seperti kemudi mobil atau menggunakan tongkat kendali di pesawat , permainan harus merespon input dalam
cara yang mencerminkan dunia nyata . Selanjutnya , game harus menanggapi kontrol dalam jangka waktu yang cocok untuk gameplay
persyaratan .
8 . Menyediakan pengguna dengan informasi tentang status permainan .
Pengguna membuat keputusan berdasarkan pengetahuan mereka tentang status permainan. Contoh jenis umum
informasi bahwa pengguna harus melacak meliputi status karakter mereka ( seperti kesehatan , status armor , dan
lokasi di dunia game) , tujuan , rekan tim , dan musuh . Pengguna harus diberikan informasi yang cukup untuk
memungkinkan mereka untuk membuat keputusan yang tepat saat bermain game .
9 . Memberikan petunjuk , pelatihan , dan bantuan.
Banyak permainan yang kompleks dan memiliki kurva belajar yang curam , sehingga menantang bagi pengguna untuk mendapatkan penguasaan permainan
fundamental . Pengguna harus memiliki akses untuk menyelesaikan dokumentasi pada permainan , termasuk bagaimana menafsirkan penglihatan
representasi dan bagaimana berinteraksi dengan elemen permainan . Bila diperlukan , pengguna harus disediakan dengan interaktif
pelatihan untuk pelatih mereka melalui dasar-dasar . Selanjutnya , standar atau pilihan yang direkomendasikan harus tersedia bila pengguna memiliki
untuk membuat keputusan dalam game yang kompleks , dan bantuan tambahan harus dapat diakses dalam aplikasi.
10 . Memberikan representasi visual yang mudah untuk menafsirkan dan meminimalkan kebutuhan micromanagement .
Representasi visual, seperti tampilan radar , peta , ikon , dan avatar , yang sering digunakan untuk menyampaikan informasi tentang
status permainan. Representasi visual harus dirancang sedemikian rupa sehingga mereka mudah untuk menafsirkan , sehingga mereka
meminimalkan kekacauan dan oklusi , dan agar pengguna dapat membedakan elemen penting dari unsur-unsur yang tidak relevan . selanjutnya ,
representasi harus dirancang untuk meminimalkan kebutuhan micromanagement , di mana pengguna dipaksa untuk interaktif
mencari melalui representasi untuk menemukan unsur-unsur yang dibutuhkan .
Permainan harus menanggapi tindakan pengguna dengan cara yang dapat diprediksi . Mekanika dasar , seperti deteksi hit , permainan fisika ,
gerakan karakter , dan perilaku musuh , semua harus sesuai dengan situasi yang dihadapi pengguna . pertandingan
juga harus memberikan masukan yang konsisten pemetaan sehingga tindakan pengguna selalu memberikan hasil yang diharapkan .
2 . Memungkinkan pengguna untuk menyesuaikan pengaturan video dan audio , kesulitan dan kecepatan permainan .
Pengaturan video dan audio, dan tingkat kesulitan dan kecepatan permainan terlihat pada game yang tidak sesuai untuk semua pengguna .
Sistem tersebut harus memungkinkan orang untuk menyesuaikan berbagai pengaturan sehingga permainan mengakomodasi kebutuhan masing-masing .
3 . Menyediakan perilaku diprediksi dan masuk akal untuk unit komputer dikendalikan .
Dalam banyak permainan , komputer membantu pengguna mengontrol pergerakan karakter mereka , sekelompok kecil rekan tim , atau
dari sejumlah besar unit . Dikendalikan unit komputer harus berperilaku dengan cara yang dapat diprediksi , dan pengguna tidak harus
terpaksa mengeluarkan perintah ekstra untuk memperbaiki kecerdasan buatan rusak . Permainan harus mengontrol unit sehingga merintis jalan
dan perilaku lain yang wajar untuk situasi dalam game .
4 . Memberikan pandangan terhalang yang sesuai untuk tindakan saat ini pengguna
Kebanyakan game menyediakan pengguna dengan representasi visual (yaitu " pandangan " ) dari lokasi virtual yang pengguna saat ini
menempati . Permainan harus memberikan pandangan yang memungkinkan pengguna untuk memiliki tampilan, jelas terhalang daerah , dan semua
informasi visual yang terkait dengan lokasi . Tampilan juga harus dirancang sedemikian rupa sehingga mereka cocok untuk kegiatan
bahwa pengguna melakukan dalam permainan . Misalnya, dalam permainan 3D sudut kamera yang berbeda mungkin diperlukan untuk melompat
urutan , untuk memerangi urutan , dan untuk kamar kecil dan besar .
5 . Memungkinkan pengguna untuk melewatkan konten non - dimainkan dan sering diulang .
Banyak permainan termasuk audio yang panjang dan urutan video , atau jenis lain dari konten non - interaktif . Permainan harus memungkinkan
pengguna untuk melewatkan konten non-dimainkan sehingga tidak mengganggu gameplay .
6 . Memberikan pemetaan masukan intuitif dan disesuaikan .
Kebanyakan game membutuhkan tanggapan yang cepat dari pengguna , sehingga pemetaan input harus dirancang sedemikian rupa sehingga pengguna dapat mengeluarkan perintah
cepat dan akurat . Pemetaan harus mudah untuk belajar dan harus intuitif untuk digunakan , memanfaatkan hubungan spasial
( tombol up di atas tombol bawah , dll ) dan pasangan alam lainnya . Mereka juga harus mengadopsi konvensi masukan yang
yang umum di game sejenis lainnya ( misalnya banyak penembak orang pertama dan permainan strategi real-time menggunakan input yang sama
skema ) . Permainan harus memungkinkan pengguna untuk remap pengaturan masukan , harus mendukung perangkat input standar (misalnya tikus ,
Keyboard , gamepad ) , dan harus menyediakan cara pintas untuk pemain ahli .
7 . Menyediakan kontrol yang mudah untuk mengelola , dan yang memiliki tingkat yang sesuai kepekaan dan responsif .
Banyak permainan memungkinkan pengguna untuk mengontrol avatar seperti karakter atau kendaraan . Kontrol untuk avatar harus dirancang sedemikian rupa sehingga
mereka mudah bagi pengguna untuk mengelola , yaitu mereka yang tidak terlalu sensitif atau tidak responsif . Ketika kontrol didasarkan pada real
interaksi dunia , seperti kemudi mobil atau menggunakan tongkat kendali di pesawat , permainan harus merespon input dalam
cara yang mencerminkan dunia nyata . Selanjutnya , game harus menanggapi kontrol dalam jangka waktu yang cocok untuk gameplay
persyaratan .
8 . Menyediakan pengguna dengan informasi tentang status permainan .
Pengguna membuat keputusan berdasarkan pengetahuan mereka tentang status permainan. Contoh jenis umum
informasi bahwa pengguna harus melacak meliputi status karakter mereka ( seperti kesehatan , status armor , dan
lokasi di dunia game) , tujuan , rekan tim , dan musuh . Pengguna harus diberikan informasi yang cukup untuk
memungkinkan mereka untuk membuat keputusan yang tepat saat bermain game .
9 . Memberikan petunjuk , pelatihan , dan bantuan.
Banyak permainan yang kompleks dan memiliki kurva belajar yang curam , sehingga menantang bagi pengguna untuk mendapatkan penguasaan permainan
fundamental . Pengguna harus memiliki akses untuk menyelesaikan dokumentasi pada permainan , termasuk bagaimana menafsirkan penglihatan
representasi dan bagaimana berinteraksi dengan elemen permainan . Bila diperlukan , pengguna harus disediakan dengan interaktif
pelatihan untuk pelatih mereka melalui dasar-dasar . Selanjutnya , standar atau pilihan yang direkomendasikan harus tersedia bila pengguna memiliki
untuk membuat keputusan dalam game yang kompleks , dan bantuan tambahan harus dapat diakses dalam aplikasi.
10 . Memberikan representasi visual yang mudah untuk menafsirkan dan meminimalkan kebutuhan micromanagement .
Representasi visual, seperti tampilan radar , peta , ikon , dan avatar , yang sering digunakan untuk menyampaikan informasi tentang
status permainan. Representasi visual harus dirancang sedemikian rupa sehingga mereka mudah untuk menafsirkan , sehingga mereka
meminimalkan kekacauan dan oklusi , dan agar pengguna dapat membedakan elemen penting dari unsur-unsur yang tidak relevan . selanjutnya ,
representasi harus dirancang untuk meminimalkan kebutuhan micromanagement , di mana pengguna dipaksa untuk interaktif
mencari melalui representasi untuk menemukan unsur-unsur yang dibutuhkan .
PENGALAMAN AWAL DENGAN heuristik
Kami melakukan evaluasi awal dari heuristik
di mana lima orang menggunakan mereka untuk mengevaluasi versi demo
game PC. Tujuan utama kami adalah untuk mengevaluasi mereka secara keseluruhan
kegunaan untuk mengidentifikasi masalah usability dalam permainan. kami
juga ingin menentukan apakah berpengetahuan
evaluator akan mampu memahami dan mengoperasionalkan
heuristik, dan apakah tingkat detail yang disediakan di
masing-masing adalah tepat.
di mana lima orang menggunakan mereka untuk mengevaluasi versi demo
game PC. Tujuan utama kami adalah untuk mengevaluasi mereka secara keseluruhan
kegunaan untuk mengidentifikasi masalah usability dalam permainan. kami
juga ingin menentukan apakah berpengetahuan
evaluator akan mampu memahami dan mengoperasionalkan
heuristik, dan apakah tingkat detail yang disediakan di
masing-masing adalah tepat.
PEMBAHASAN
Ringkasan hasil evaluasi
Tujuan utama kami adalah untuk mengembangkan heuristik yang dapat digunakan
untuk mengkhususkan proses pemeriksaan kegunaan untuk video
game . Kami juga memiliki tiga tujuan terkait . Pertama, kita
ingin memberikan cakupan menyeluruh tentang masalah kegunaan
yang dapat terjadi dalam berbagai macam permainan . Kedua , kita
ingin heuristik agar mudah untuk mengoperasionalkan bagi orang-orang
dengan pengetahuan tentang prinsip-prinsip kegunaan dan dengan beberapa
pengalaman bekerja dengan permainan . Ketiga , kami ingin orang-orang
untuk dapat menggunakan heuristik untuk mengidentifikasi masalah nyata yang
akan mempengaruhi kegunaan dari permainan .
Evaluasi kami memberikan wawasan awal ke seberapa sukses
heuristik berada di memenuhi tujuan tersebut . orang-orang
mampu menemukan berbagai masalah , dan mereka menemukan
beberapa masalah dengan sembilan dari heuristik . itu
evaluasi tidak memberikan pandangan yang komprehensif di
heuristik karena kita tidak mengharapkan permainan apapun untuk selalu
memiliki masalah dalam semua bidang cakupan. Namun, tidak
menunjukkan bahwa evaluator mampu memahami
heuristik , dan pemeriksaan deskripsi masalah dengan menunjukkan
bahwa mereka melakukan sesuai dengan wilayah cakupan yang dijelaskan oleh
ditentukan heuristik . Hal ini juga menunjukkan bahwa orang mampu
menggunakan heuristik untuk menemukan masalah nyata , dan mereka memiliki sedikit
kesulitan dengan operasionalisasi mereka.
Tujuan utama kami adalah untuk mengembangkan heuristik yang dapat digunakan
untuk mengkhususkan proses pemeriksaan kegunaan untuk video
game . Kami juga memiliki tiga tujuan terkait . Pertama, kita
ingin memberikan cakupan menyeluruh tentang masalah kegunaan
yang dapat terjadi dalam berbagai macam permainan . Kedua , kita
ingin heuristik agar mudah untuk mengoperasionalkan bagi orang-orang
dengan pengetahuan tentang prinsip-prinsip kegunaan dan dengan beberapa
pengalaman bekerja dengan permainan . Ketiga , kami ingin orang-orang
untuk dapat menggunakan heuristik untuk mengidentifikasi masalah nyata yang
akan mempengaruhi kegunaan dari permainan .
Evaluasi kami memberikan wawasan awal ke seberapa sukses
heuristik berada di memenuhi tujuan tersebut . orang-orang
mampu menemukan berbagai masalah , dan mereka menemukan
beberapa masalah dengan sembilan dari heuristik . itu
evaluasi tidak memberikan pandangan yang komprehensif di
heuristik karena kita tidak mengharapkan permainan apapun untuk selalu
memiliki masalah dalam semua bidang cakupan. Namun, tidak
menunjukkan bahwa evaluator mampu memahami
heuristik , dan pemeriksaan deskripsi masalah dengan menunjukkan
bahwa mereka melakukan sesuai dengan wilayah cakupan yang dijelaskan oleh
ditentukan heuristik . Hal ini juga menunjukkan bahwa orang mampu
menggunakan heuristik untuk menemukan masalah nyata , dan mereka memiliki sedikit
kesulitan dengan operasionalisasi mereka.
KESIMPULAN
Diketahuinya
desainer yang memiliki pengalaman yang signifikan
dengan permainan dapat mengidentifikasi banyak masalah kegunaan tanpa
kebutuhan untuk satu set heuristik . Namun , masih ada
banyak game yang dirilis dengan kegunaan yang serius
masalah , jadi kami percaya bahwa evaluasi yang lebih terorganisir
pendekatan, seperti inspeksi kegunaan menggunakan heuristik ,
masih memiliki nilai . Ini adalah salah satu alasan bagi keberhasilan
Heuristik - prinsip desain Nielsen dijelaskan dalam
heuristik diterima secara luas di masyarakat HCI , dan
sudah dikenal oleh kebanyakan desainer . Namun , baik
desainer masih melanggar prinsip-prinsip . evaluasi heuristik
dapat memainkan peran penting karena memaksa lebih formal
pemeriksaan , di mana setiap masalah dianggap pada gilirannya , dan
membantu mengungkap masalah-masalah yang belum tentu jelas
sebaliknya.
Heuristik yang kami sajikan dalam makalah ini memberikan baru
cara untuk beradaptasi inspeksi kegunaan untuk game , dan memungkinkan
desainer untuk mengevaluasi baik maket dan fungsional
prototipe . Tidak seperti heuristik permainan lainnya , kita fokus
khusus pada permainan kegunaan , dan mereka didasarkan pada
analisis terstruktur masalah kegunaan dari besar
sejumlah permainan . Heuristik memungkinkan orang untuk mengevaluasi
permainan kegunaan dengan menerapkan prinsip-prinsip desain yang didasarkan
pada tren desain yang terlihat dalam beberapa pertandingan terakhir , dan yang
umum di genre utama yang ditemukan dalam komersial
game .
dengan permainan dapat mengidentifikasi banyak masalah kegunaan tanpa
kebutuhan untuk satu set heuristik . Namun , masih ada
banyak game yang dirilis dengan kegunaan yang serius
masalah , jadi kami percaya bahwa evaluasi yang lebih terorganisir
pendekatan, seperti inspeksi kegunaan menggunakan heuristik ,
masih memiliki nilai . Ini adalah salah satu alasan bagi keberhasilan
Heuristik - prinsip desain Nielsen dijelaskan dalam
heuristik diterima secara luas di masyarakat HCI , dan
sudah dikenal oleh kebanyakan desainer . Namun , baik
desainer masih melanggar prinsip-prinsip . evaluasi heuristik
dapat memainkan peran penting karena memaksa lebih formal
pemeriksaan , di mana setiap masalah dianggap pada gilirannya , dan
membantu mengungkap masalah-masalah yang belum tentu jelas
sebaliknya.
Heuristik yang kami sajikan dalam makalah ini memberikan baru
cara untuk beradaptasi inspeksi kegunaan untuk game , dan memungkinkan
desainer untuk mengevaluasi baik maket dan fungsional
prototipe . Tidak seperti heuristik permainan lainnya , kita fokus
khusus pada permainan kegunaan , dan mereka didasarkan pada
analisis terstruktur masalah kegunaan dari besar
sejumlah permainan . Heuristik memungkinkan orang untuk mengevaluasi
permainan kegunaan dengan menerapkan prinsip-prinsip desain yang didasarkan
pada tren desain yang terlihat dalam beberapa pertandingan terakhir , dan yang
umum di genre utama yang ditemukan dalam komersial
game .
UCAPAN
TERIMA KASIH
Kami berterima kasih kepada Carman Neustaedter, Carl Gutwin, Miguel
Nacenta, David Flatla, dan Regan Mandryk untuk mereka
saran dan masukan.
Nacenta, David Flatla, dan Regan Mandryk untuk mereka
saran dan masukan.
REFERENCES
1. Annett, J. and Duncan, K.D. Task analysis
and training
design. Occupational Psychology 12, (1967),
211-221.
2. Barr, P., Noble, J., and Biddle, R. Video
game values:
Human-computer interaction and games. In
Journal of
Interacting with Computers, 19, 2. (2007),
180-195.
3. Bias, R. Walkthroughs: Efficient
collaborative testing.
IEEE Software 8(5), (1991), 94-95.
4. Bias, R. The pluralistic usability
walkthrough:
coordinated empathies.
5. Clanton, C. An Interpreted Demonstration of
Computer
Game Design. In Proc. CHI 1998, 1-2.
6. Cockton, G., and Woolrych, A. Sale must
end: Should
discount methods be cleared off HCI's shelves?
interactions, 9(5) 2002, pp. 13-18.
7. Desurvire, H., Caplan, M., and Toth, J. A.
Using
heuristics to evaluate the playability of
games. Ext.
Abstracts CHI 2004, 1509-1512.
8. Dulin, R. Review of Druuna: Morbus Gravis,
http://www.gamespot.com/pc/adventure/druunamorbusg
ravis/review.html, 2002.
9. Dyck, J., Pinelle, D., Brown, B., and
Gutwin, C.
Learning from Games: HCI Design Innovations in
Entertainment Software. Proceedings of
Graphics
Interface 2003, pp. 237-246.
10.Dykstra, D.J. A Comparison of Heuristic
Evaluation and
Usability Testing: The Efficacy of a
Domain-Specific
Heuristic Checklist. Ph.D. dissertation,
Department of
Industrial Engineering, Texas A&M
University, 1993.
11.Entertainment Software Association,
Essential Facts
about the Computer and Video Game Industry
2007,
http://www.theesa.com/archives/2007/07/2007_essential
.php.
12. Federoff, M. Heuristics and Usability
Guidelines for the
Creation and Evaluation of Fun in Video Games.
Indiana University Master of Science Thesis,
2002.
13. Fullerton, T., Swain, C., Hoffman, S. Game
Design
Workshop: Designing, Prototyping, and
Playtesting
Games, CMP Books, 2004.
14.Goble, G. Review of Rugby 2004, http://www.
gamespot.com/pc/sports/rugby2004/review.html,
2003.
15. Jeffries, R., Miller, J. R., Wharton, C.,
Uyeda, K.M.
User interface evaluation in the real world: a
comparison of four techniques. Proc. CHI ‘91, 119-124.
Input-Perjanjian: Sebuah
Mekanisme Baru untuk Pengumpulan Data Menggunakan Game Komputasi Manusia
PENDAHULUAN
Label orang , atau tag , hal untuk mengatur
mereka dan
memfasilitasi pengambilan mereka di lain waktu . Dengan proliferasi
benda multimedia di Internet , kolaboratif penandaan
telah muncul sebagai strategi umum untuk mengatur konten
di Web . Sebuah penelitian baru menunjukkan bahwa 28 % dari Internet
pengguna menandai foto , berita , atau posting blog secara online
[ 16 ] . Situs web populer seperti Flickr.com ( berbagi foto ) ,
Last.fm ( berbagi musik ) dan YouTube.com ( berbagi video )
telah memberikan kontribusi jutaan pengguna tag setiap tahun .
Namun, ada dua masalah yang diketahui dengan menggunakan seperti
" Tag sosial " sebagai data diberi label untuk objek multimedia .
Perhitungan manusia adalah ide menggunakan usaha manusia untuk
melakukan tugas yang komputer belum bisa tampil , biasanya dalam
cara yang menyenangkan . Game pertama perhitungan manusia,
atau Game Dengan Tujuan A ( GWAP ) [ 13 ] , yang disebut ESP
Permainan [ 14 ] , mengikuti mekanisme tertentu : dua pemain
mengingat objek yang sama ( dalam hal ini , gambar ) bahwa mereka
diminta untuk menjelaskan , dan deskripsi yang di atasnya
pemain setuju menjadi label untuk objek tersebut. ESP Permainan
telah menjadi sangat sukses : jutaan tag gambar memiliki
telah dikumpulkan melalui permainan , dan beberapa tahun setelah nya
penyebaran, game ini masih dikunjungi oleh sejumlah sehat
pemain setiap hari . Sejak itu , ini pengumpulan data
Mekanisme telah diadopsi untuk permainan lainnya dalam domain tersebut
penandaan gambar [ 1,7,10 ] , penandaan musik [ 9,12 ] dan
ekstraksi pengetahuan [ 11 ] . Mekanisme ini disebut sebagai
Output - perjanjian [ 15 ] karena pemain diberikan sama
input dan harus setuju pada output yang sesuai .
memfasilitasi pengambilan mereka di lain waktu . Dengan proliferasi
benda multimedia di Internet , kolaboratif penandaan
telah muncul sebagai strategi umum untuk mengatur konten
di Web . Sebuah penelitian baru menunjukkan bahwa 28 % dari Internet
pengguna menandai foto , berita , atau posting blog secara online
[ 16 ] . Situs web populer seperti Flickr.com ( berbagi foto ) ,
Last.fm ( berbagi musik ) dan YouTube.com ( berbagi video )
telah memberikan kontribusi jutaan pengguna tag setiap tahun .
Namun, ada dua masalah yang diketahui dengan menggunakan seperti
" Tag sosial " sebagai data diberi label untuk objek multimedia .
Perhitungan manusia adalah ide menggunakan usaha manusia untuk
melakukan tugas yang komputer belum bisa tampil , biasanya dalam
cara yang menyenangkan . Game pertama perhitungan manusia,
atau Game Dengan Tujuan A ( GWAP ) [ 13 ] , yang disebut ESP
Permainan [ 14 ] , mengikuti mekanisme tertentu : dua pemain
mengingat objek yang sama ( dalam hal ini , gambar ) bahwa mereka
diminta untuk menjelaskan , dan deskripsi yang di atasnya
pemain setuju menjadi label untuk objek tersebut. ESP Permainan
telah menjadi sangat sukses : jutaan tag gambar memiliki
telah dikumpulkan melalui permainan , dan beberapa tahun setelah nya
penyebaran, game ini masih dikunjungi oleh sejumlah sehat
pemain setiap hari . Sejak itu , ini pengumpulan data
Mekanisme telah diadopsi untuk permainan lainnya dalam domain tersebut
penandaan gambar [ 1,7,10 ] , penandaan musik [ 9,12 ] dan
ekstraksi pengetahuan [ 11 ] . Mekanisme ini disebut sebagai
Output - perjanjian [ 15 ] karena pemain diberikan sama
input dan harus setuju pada output yang sesuai .
HUBUNGAN
KERJA
Sebagaimana dijelaskan sebelumnya , game
keluaran - kesepakatan menggunakan
output cocok satu pemain sebagai deskripsi diandalkan
input data . Dalam matchin [ 1 ] , misalnya, dua pemain
menunjukkan sepasang gambar dan diminta untuk memilih satu mereka
berpikir pasangan mereka akan lebih suka . Mereka dihargai dengan
point jika suara mereka cocok. Sebuah peringkat global citra
preferensi kemudian dapat berasal dari penilaian agregat.
Contoh lain adalah Squigl [ 7 ] , permainan untuk mengumpulkan data segmentasi untuk gambar di mana dua pemain ditunjukkan
gambar yang sama dan label terkait , kemudian diminta untuk
menggambar garis di sekitar objek dalam gambar dengan
label . Poin diberikan berdasarkan berapa banyak dua
garis besar tumpang tindih objek . Dalam PictureThis [ 10 ] , pemain
ditunjukkan label dan daftar gambar dan diminta untuk memilih
gambar yang paling relevan dengan label tersebut. pemain
lagi dihargai jika pilihan mereka sesuai . Mekanisme outputagreement juga telah diperluas untuk permainan untuk
ekstraksi pengetahuan, seperti Ontogame dan Ontotube
[ 11 ] , di mana pemain diberi berbagai jenis masukan
benda ( misalnya , Wikipedia kutipan , video YouTube , eBay
lelang ) dan ontologi , kemudian diminta untuk membubuhi keterangan input
keberatan menggunakan ontologi yang diberikan . Dalam semua permainan ini,
sistem reward adalah sama dengan yang awalnya diperkenalkan
di Game ESP : pencocokan pada output .
output cocok satu pemain sebagai deskripsi diandalkan
input data . Dalam matchin [ 1 ] , misalnya, dua pemain
menunjukkan sepasang gambar dan diminta untuk memilih satu mereka
berpikir pasangan mereka akan lebih suka . Mereka dihargai dengan
point jika suara mereka cocok. Sebuah peringkat global citra
preferensi kemudian dapat berasal dari penilaian agregat.
Contoh lain adalah Squigl [ 7 ] , permainan untuk mengumpulkan data segmentasi untuk gambar di mana dua pemain ditunjukkan
gambar yang sama dan label terkait , kemudian diminta untuk
menggambar garis di sekitar objek dalam gambar dengan
label . Poin diberikan berdasarkan berapa banyak dua
garis besar tumpang tindih objek . Dalam PictureThis [ 10 ] , pemain
ditunjukkan label dan daftar gambar dan diminta untuk memilih
gambar yang paling relevan dengan label tersebut. pemain
lagi dihargai jika pilihan mereka sesuai . Mekanisme outputagreement juga telah diperluas untuk permainan untuk
ekstraksi pengetahuan, seperti Ontogame dan Ontotube
[ 11 ] , di mana pemain diberi berbagai jenis masukan
benda ( misalnya , Wikipedia kutipan , video YouTube , eBay
lelang ) dan ontologi , kemudian diminta untuk membubuhi keterangan input
keberatan menggunakan ontologi yang diberikan . Dalam semua permainan ini,
sistem reward adalah sama dengan yang awalnya diperkenalkan
di Game ESP : pencocokan pada output .
MASALAH DENGAN OUTPUT-PERJANJIAN UNTUK AUDIO
DATA COLLECTION
DATA COLLECTION
Masalah utama dengan menggunakan output-perjanjian
mekanisme untuk mengumpulkan data untuk klip audio adalah bahwa hal itu dapat
sangat sulit bagi dua pemain untuk menyepakati deskripsi.
Tidak seperti gambar, yang seringkali mengandung hanya beberapa jelas
objek diidentifikasi, musik dapat dijelaskan oleh abstrak
konsep, seperti "suhu" (misalnya, dingin, hangat), suasana hati
(misalnya, gelap, marah, misterius), atau gambar itu membangkitkan (misalnya,
jalan yang sibuk, festival), serta kategorisasi yang memiliki
ada batas yang jelas (misalnya, asam-jazz, jazz-funk,
halus jazz). Kesulitan dengan klip suara sewenang-wenang
bahkan lebih ditandai, karena konten tidak selalu mudah
dikenali. Dalam merancang sebuah permainan yang menyenangkan untuk bermain, itu adalah
penting bahwa tugas tersebut tidak terlalu mudah juga tidak terlalu sulit.
Seperti yang akan kita uraikan nanti dalam tulisan ini, mekanisme outputagreement, bila digunakan pada klip suara, bisa
menjadi terlalu sulit dan membuat frustrasi bagi para pemain.
mekanisme untuk mengumpulkan data untuk klip audio adalah bahwa hal itu dapat
sangat sulit bagi dua pemain untuk menyepakati deskripsi.
Tidak seperti gambar, yang seringkali mengandung hanya beberapa jelas
objek diidentifikasi, musik dapat dijelaskan oleh abstrak
konsep, seperti "suhu" (misalnya, dingin, hangat), suasana hati
(misalnya, gelap, marah, misterius), atau gambar itu membangkitkan (misalnya,
jalan yang sibuk, festival), serta kategorisasi yang memiliki
ada batas yang jelas (misalnya, asam-jazz, jazz-funk,
halus jazz). Kesulitan dengan klip suara sewenang-wenang
bahkan lebih ditandai, karena konten tidak selalu mudah
dikenali. Dalam merancang sebuah permainan yang menyenangkan untuk bermain, itu adalah
penting bahwa tugas tersebut tidak terlalu mudah juga tidak terlalu sulit.
Seperti yang akan kita uraikan nanti dalam tulisan ini, mekanisme outputagreement, bila digunakan pada klip suara, bisa
menjadi terlalu sulit dan membuat frustrasi bagi para pemain.
Input Data
Data saat
ini dilayani dengan pemain terdiri dari 56.670
singkat ( ~ 30 detik ) klip musik dari Magnatune.com dan
28.715 klip suara dari Database Freesound
( http://freesound.org ) . Secara garis besar, genre
musik termasuk klasik , zaman baru , electronica , rock, pop ,
dunia musik , jazz, blues , heavy metal , dan punk . semua audio
Klip disediakan di bawah Creative Commons License ,
memungkinkan untuk penggunaan jauh lebih ketat daripada khas lainnya
lisensi musik . Hal ini memungkinkan file audio secara bebas
didistribusikan kepada masyarakat dan sangat memudahkan penelitian tentang
data yang dikumpulkan oleh permainan . Selain itu, penggunaan kurang
musik terkenal meminimalkan kemungkinan bahwa pemain
akan mengenali lagu yang sebenarnya atau artis dan hanya menjelaskan
klip audio menggunakan tag yang sudah dikenal . akhirnya ,
segmen audio yang lebih pendek memastikan bahwa ada lebih
langsung, meskipun tidak dijamin , hubungan antara isi
musik dan deskripsi yang disediakan .
Untuk setiap putaran , klip audio yang dipilih secara acak .
Karena data masukan untuk permainan adalah sepasang klip audio ,
jumlah semua kemungkinan pasangan klip suara dan musik
cukup besar yang sudah cukup seleksi acak untuk memastikan bahwa
pemain tidak akan menemukan pasangan yang sama input data terlalu
sering.
singkat ( ~ 30 detik ) klip musik dari Magnatune.com dan
28.715 klip suara dari Database Freesound
( http://freesound.org ) . Secara garis besar, genre
musik termasuk klasik , zaman baru , electronica , rock, pop ,
dunia musik , jazz, blues , heavy metal , dan punk . semua audio
Klip disediakan di bawah Creative Commons License ,
memungkinkan untuk penggunaan jauh lebih ketat daripada khas lainnya
lisensi musik . Hal ini memungkinkan file audio secara bebas
didistribusikan kepada masyarakat dan sangat memudahkan penelitian tentang
data yang dikumpulkan oleh permainan . Selain itu, penggunaan kurang
musik terkenal meminimalkan kemungkinan bahwa pemain
akan mengenali lagu yang sebenarnya atau artis dan hanya menjelaskan
klip audio menggunakan tag yang sudah dikenal . akhirnya ,
segmen audio yang lebih pendek memastikan bahwa ada lebih
langsung, meskipun tidak dijamin , hubungan antara isi
musik dan deskripsi yang disediakan .
Untuk setiap putaran , klip audio yang dipilih secara acak .
Karena data masukan untuk permainan adalah sepasang klip audio ,
jumlah semua kemungkinan pasangan klip suara dan musik
cukup besar yang sudah cukup seleksi acak untuk memastikan bahwa
pemain tidak akan menemukan pasangan yang sama input data terlalu
sering.
Statistik Pertandingan
Sebanyak
49.088 game unik yang dimainkan oleh 14.224
pemain yang unik, setara 439.760 putaran normal. berdasarkan
statistik terbaru dikumpulkan pada pertengahan Desember 2008,
sejumlah permainan setiap orang dimainkan berkisar antara 1 sampai
6286, dan total waktu yang dihabiskan setiap orang dalam bermain game
berkisar dari tiga menit untuk 420 jam. rata-rata
jumlah permainan yang dimainkan adalah empat. Gambar 8 menunjukkan kurva rankfrequency tentang berapa banyak orang bermain x jumlah
game. Grafik hampir menyerupai kuasa hukum: ada
banyak orang yang hanya memainkan beberapa permainan, dan beberapa
orang-orang yang memainkan banyak pertandingan. Kita lihat kurva ini rankfrequency sebagai kurva retensi pemain, karena
kurva adalah indikator yang berguna dari proporsi pemain yang
kembali mengunjungi permainan dan frekuensi dari mengunjungi kembali mereka.
pemain yang unik, setara 439.760 putaran normal. berdasarkan
statistik terbaru dikumpulkan pada pertengahan Desember 2008,
sejumlah permainan setiap orang dimainkan berkisar antara 1 sampai
6286, dan total waktu yang dihabiskan setiap orang dalam bermain game
berkisar dari tiga menit untuk 420 jam. rata-rata
jumlah permainan yang dimainkan adalah empat. Gambar 8 menunjukkan kurva rankfrequency tentang berapa banyak orang bermain x jumlah
game. Grafik hampir menyerupai kuasa hukum: ada
banyak orang yang hanya memainkan beberapa permainan, dan beberapa
orang-orang yang memainkan banyak pertandingan. Kita lihat kurva ini rankfrequency sebagai kurva retensi pemain, karena
kurva adalah indikator yang berguna dari proporsi pemain yang
kembali mengunjungi permainan dan frekuensi dari mengunjungi kembali mereka.
Statistik Tune
Berbasis
Rata-rata , setiap permainan melayani sekitar sembilan
lagu . setelah
tujuh bulan bermain game , ada total 30.237
klip audio dijelaskan dan 108.558 diverifikasi ( dikonfirmasi oleh
Setidaknya dua pemain ) tag dikumpulkan . Sepanjang makalah ini,
Istilah " terverifikasi" dipakai untuk merujuk tag yang memiliki kepercayaan diri tinggi ( karena mereka telah mandiri dihasilkan oleh
beberapa pemain ) dan " terverifikasi " untuk merujuk tag yang memiliki
kepercayaan rendah .
Gambar 11 menunjukkan jumlah klip audio yang memiliki
telah ditandai oleh x jumlah pemain . Data menunjukkan bahwa
92 % dari klip audio telah dijelaskan oleh dua atau lebih
pemain , 61 % telah dijelaskan oleh sepuluh atau lebih pemain ,
dan 26 % telah dijelaskan oleh 20 atau lebih pemain . di
memesan untuk mencapai tingkat kepercayaan yang tinggi tentang tag , sebuah
Kriteria penting adalah bahwa sebagian besar lagu-lagu yang dievaluasi oleh
beberapa pemain . Hasil ini menunjukkan bahwa bahkan menggunakan
strategi pemilihan acak sederhana untuk memilih lagu untuk
hadir untuk pemain , kriteria ini terpenuhi .
tujuh bulan bermain game , ada total 30.237
klip audio dijelaskan dan 108.558 diverifikasi ( dikonfirmasi oleh
Setidaknya dua pemain ) tag dikumpulkan . Sepanjang makalah ini,
Istilah " terverifikasi" dipakai untuk merujuk tag yang memiliki kepercayaan diri tinggi ( karena mereka telah mandiri dihasilkan oleh
beberapa pemain ) dan " terverifikasi " untuk merujuk tag yang memiliki
kepercayaan rendah .
Gambar 11 menunjukkan jumlah klip audio yang memiliki
telah ditandai oleh x jumlah pemain . Data menunjukkan bahwa
92 % dari klip audio telah dijelaskan oleh dua atau lebih
pemain , 61 % telah dijelaskan oleh sepuluh atau lebih pemain ,
dan 26 % telah dijelaskan oleh 20 atau lebih pemain . di
memesan untuk mencapai tingkat kepercayaan yang tinggi tentang tag , sebuah
Kriteria penting adalah bahwa sebagian besar lagu-lagu yang dievaluasi oleh
beberapa pemain . Hasil ini menunjukkan bahwa bahkan menggunakan
strategi pemilihan acak sederhana untuk memilih lagu untuk
hadir untuk pemain , kriteria ini terpenuhi .
Hasil
Kami mempertahankan hasil dari 80 peserta yang dihabiskan
di
sedikitnya 1.000 detik pada tugas , yang merupakan waktu yang dibutuhkan untuk
mendengarkan seluruh klip audio untuk setiap pertanyaan ditambah setidaknya
lima detik untuk menjawab masing-masing empat sub - pertanyaan . catatan
bahwa untuk percobaan ini , kami tidak melakukan apapun postprocessing untuk menghapus sampah mudah disaring kata - seperti
sebagai ' sama ', ' diff ', ' ya , ' ' no' - sebelum menyajikan tag ke
peserta . Ini karena kita juga tertarik pada
mencari tahu apakah ada kata-kata sampah sedikit di antara
tag diverifikasi dari tag yang belum diverifikasi .
Hasil survei ini diringkas dalam Gambar 12 . sebagai
diinginkan , untuk pertanyaan 1 rata-rata adalah 78,26 % ( sd = 9.45 ) ,
sama dengan kira-kira 5-6 dari 7 tag . Hal ini menunjukkan bahwa
tag diverifikasi berguna untuk menggambarkan klip audio. itu
rerata 16,67 % ( sd = 8.59 ) untuk pertanyaan 2 , atau sekitar 1
7 dari tag , menunjukkan bahwa ada sangat sedikit dari diverifikasi
tag yang tidak menggambarkan klip audio sama sekali . ini kecil
kesalahan dapat terutama disebabkan oleh sampah mudah disaring
kata-kata yang kami memutuskan untuk hadir untuk para peserta selama
percobaan ini ( seperti ' sama ', ' diff ', dll ) .
sedikitnya 1.000 detik pada tugas , yang merupakan waktu yang dibutuhkan untuk
mendengarkan seluruh klip audio untuk setiap pertanyaan ditambah setidaknya
lima detik untuk menjawab masing-masing empat sub - pertanyaan . catatan
bahwa untuk percobaan ini , kami tidak melakukan apapun postprocessing untuk menghapus sampah mudah disaring kata - seperti
sebagai ' sama ', ' diff ', ' ya , ' ' no' - sebelum menyajikan tag ke
peserta . Ini karena kita juga tertarik pada
mencari tahu apakah ada kata-kata sampah sedikit di antara
tag diverifikasi dari tag yang belum diverifikasi .
Hasil survei ini diringkas dalam Gambar 12 . sebagai
diinginkan , untuk pertanyaan 1 rata-rata adalah 78,26 % ( sd = 9.45 ) ,
sama dengan kira-kira 5-6 dari 7 tag . Hal ini menunjukkan bahwa
tag diverifikasi berguna untuk menggambarkan klip audio. itu
rerata 16,67 % ( sd = 8.59 ) untuk pertanyaan 2 , atau sekitar 1
7 dari tag , menunjukkan bahwa ada sangat sedikit dari diverifikasi
tag yang tidak menggambarkan klip audio sama sekali . ini kecil
kesalahan dapat terutama disebabkan oleh sampah mudah disaring
kata-kata yang kami memutuskan untuk hadir untuk para peserta selama
percobaan ini ( seperti ' sama ', ' diff ', dll ) .
THE NEW MEKANISME REVISITED
Salah
satu ide kunci dari mekanisme output perjanjian
pertama digunakan di Game ESP adalah bahwa data berlabel dapat
ditugaskan keyakinan tinggi jika diverifikasi oleh beberapa
pemain, yang memotivasi penggunaan perjanjian. dalam hal ini
kertas, kami telah menunjukkan bahwa perjanjian bukanlah satu-satunya atau
selalu mekanisme terbaik untuk ekstraksi data. dalam hal ini
bagian, kami menguraikan karakteristik utama dari mekanisme inputagreement dan kondisi di mana itu
paling berlaku untuk pengumpulan data.
pertama digunakan di Game ESP adalah bahwa data berlabel dapat
ditugaskan keyakinan tinggi jika diverifikasi oleh beberapa
pemain, yang memotivasi penggunaan perjanjian. dalam hal ini
kertas, kami telah menunjukkan bahwa perjanjian bukanlah satu-satunya atau
selalu mekanisme terbaik untuk ekstraksi data. dalam hal ini
bagian, kami menguraikan karakteristik utama dari mekanisme inputagreement dan kondisi di mana itu
paling berlaku untuk pengumpulan data.
Beberapa Tingkat
Verifikasi
Mekanisme input-kesepakatan memungkinkan beberapa
kesempatan untuk memverifikasi bahwa
tag sebenarnya penjelasan
yang baik untuk
klip audio. Pertama, deskripsi masing-masing pemain secara implisit
diverifikasi oleh pasangan mereka selama pertandingan, yaitu pemain
hanya akan memilih 'sama' jika mereka percaya bahwa pasangan mereka
deskripsi sesuai untuk klip audio yang
sendiri mendengarkan. Demikian juga, pemain hanya akan
pilih 'berbeda' jika mereka percaya bahwa pasangan mereka
deskripsi tidak cukup menggambarkan klip audio. di
Dengan kata lain, tugas menebak apakah pemain
mendengarkan klip audio yang sama atau berbeda adalah baik
indikator apakah tag yang sesuai untuk audio
klip.
klip audio. Pertama, deskripsi masing-masing pemain secara implisit
diverifikasi oleh pasangan mereka selama pertandingan, yaitu pemain
hanya akan memilih 'sama' jika mereka percaya bahwa pasangan mereka
deskripsi sesuai untuk klip audio yang
sendiri mendengarkan. Demikian juga, pemain hanya akan
pilih 'berbeda' jika mereka percaya bahwa pasangan mereka
deskripsi tidak cukup menggambarkan klip audio. di
Dengan kata lain, tugas menebak apakah pemain
mendengarkan klip audio yang sama atau berbeda adalah baik
indikator apakah tag yang sesuai untuk audio
klip.
Kurangnya Strategi
Kecurangan
Pencegahan kecurangan merupakan salah satu isu utama
dalam
desain game perhitungan manusia. Dalam Game ESP , untuk
Misalnya , sepasang pemain bisa menipu jika mereka menetap di
strategi mengetikkan tag yang sama agar sesuai dengan
satu sama lain, terlepas dari isi gambar . ini
Masalah ini biasanya ditangani oleh dua penanggulangan :
( 1 ) menambahkan keterlambatan dalam proses pencocokan pemain sehingga tidak
dijamin bahwa dua orang yang mengklik ' bermain' secara bersamaan
akan dicocokkan , dan ( 2 ) memberikan masukan bagi pemain yang
jawaban yang benar sudah diketahui .
Sifat penting dari mekanisme input- kesepakatan
diperkenalkan dalam makalah ini adalah bahwa tidak ada strategi yang jelas
untuk berselingkuh . Sementara tujuan kami adalah untuk mengumpulkan tag untuk audio
klip , tujuan dari permainan ini adalah untuk tidak tag , tapi untuk menilai
dari tag dimasukkan apakah pemain mendengarkan
klip audio yang sama . Ada tiga fitur dasar dari
Mekanisme input- kesepakatan yang mengakibatkan kurangnya kecurangan
strategi , serta kurangnya kebutuhan untuk berselingkuh : ( 1 ) tidak
pemain memegang kebenaran dasar, ( 2 ) tiap pemain harus berasal
tanah ini kebenaran dari deskripsi yang lain , dan ( 3 )
pemain dihargai hanya jika keduanya memperoleh tanah
kebenaran . Singkatnya , dengan menjadi jujur satu sama lain , pemain
meningkatkan kemungkinan mereka mendapatkan kebenaran tanah dan
poin penilaian, yang akibatnya , menghasilkan valid
deskripsi untuk klip audio yang disajikan dalam permainan . Strategi kecurangan preagreed yang berpotensi merugikan
sebuah game keluaran - perjanjian tidak masalah di sini, karena
para pemain diperbolehkan untuk berkomunikasi pula.
desain game perhitungan manusia. Dalam Game ESP , untuk
Misalnya , sepasang pemain bisa menipu jika mereka menetap di
strategi mengetikkan tag yang sama agar sesuai dengan
satu sama lain, terlepas dari isi gambar . ini
Masalah ini biasanya ditangani oleh dua penanggulangan :
( 1 ) menambahkan keterlambatan dalam proses pencocokan pemain sehingga tidak
dijamin bahwa dua orang yang mengklik ' bermain' secara bersamaan
akan dicocokkan , dan ( 2 ) memberikan masukan bagi pemain yang
jawaban yang benar sudah diketahui .
Sifat penting dari mekanisme input- kesepakatan
diperkenalkan dalam makalah ini adalah bahwa tidak ada strategi yang jelas
untuk berselingkuh . Sementara tujuan kami adalah untuk mengumpulkan tag untuk audio
klip , tujuan dari permainan ini adalah untuk tidak tag , tapi untuk menilai
dari tag dimasukkan apakah pemain mendengarkan
klip audio yang sama . Ada tiga fitur dasar dari
Mekanisme input- kesepakatan yang mengakibatkan kurangnya kecurangan
strategi , serta kurangnya kebutuhan untuk berselingkuh : ( 1 ) tidak
pemain memegang kebenaran dasar, ( 2 ) tiap pemain harus berasal
tanah ini kebenaran dari deskripsi yang lain , dan ( 3 )
pemain dihargai hanya jika keduanya memperoleh tanah
kebenaran . Singkatnya , dengan menjadi jujur satu sama lain , pemain
meningkatkan kemungkinan mereka mendapatkan kebenaran tanah dan
poin penilaian, yang akibatnya , menghasilkan valid
deskripsi untuk klip audio yang disajikan dalam permainan . Strategi kecurangan preagreed yang berpotensi merugikan
sebuah game keluaran - perjanjian tidak masalah di sini, karena
para pemain diperbolehkan untuk berkomunikasi pula.
Kondisi Berlakunya
Seperti disebutkan sebelumnya, mekanisme input-kesepakatan
dapat diterapkan untuk mengumpulkan data tentang obyek input dengan tinggi
deskripsi entropi. Bahkan, permainan TagATune dapat
langsung diubah untuk menangani gambar, video dan teks.
Penerapan mekanisme input-kesepakatan tidak
terbatas pada objek multimedia. Memang, sejak peluncuran
TagATune, dua pertandingan [6,8] telah dikembangkan
dalam domain pencarian Web menggunakan versi modifikasi dari
mekanisme input-kesepakatan.
dapat diterapkan untuk mengumpulkan data tentang obyek input dengan tinggi
deskripsi entropi. Bahkan, permainan TagATune dapat
langsung diubah untuk menangani gambar, video dan teks.
Penerapan mekanisme input-kesepakatan tidak
terbatas pada objek multimedia. Memang, sejak peluncuran
TagATune, dua pertandingan [6,8] telah dikembangkan
dalam domain pencarian Web menggunakan versi modifikasi dari
mekanisme input-kesepakatan.
KESIMPULAN
Sampai saat ini, upaya penelitian dalam perhitungan manusia
sebagian besar telah berpusat di sekitar pengembangan game,
dengan kurang fokus pada penemuan mekanisme baru untuk
pengumpulan data. Kontribusi utama dari makalah ini adalah
pengenalan mekanisme input-kesepakatan, baru
Metode pengumpulan data dalam permainan perhitungan manusia.
Kami mengembangkan sebuah permainan yang disebut TagATune yang menggunakan baru ini
mekanisme untuk mengumpulkan tag untuk musik dan klip suara, dan
statistik yang disajikan pada data yang dikumpulkan selama periode sevenmonth setelah pertandingan diluncurkan. Hasil (lihat
Tabel 3) menunjukkan bahwa popularitas dan throughput
TagATune lebih unggul game perhitungan manusia lainnya
untuk mengumpulkan metadata musik. Selain itu, ini mekanisme baru ini mudah extensible untuk foto dan video, dan
sudah diadopsi untuk mengumpulkan data dalam domain lainnya
dimana data input berbasis teks.
sebagian besar telah berpusat di sekitar pengembangan game,
dengan kurang fokus pada penemuan mekanisme baru untuk
pengumpulan data. Kontribusi utama dari makalah ini adalah
pengenalan mekanisme input-kesepakatan, baru
Metode pengumpulan data dalam permainan perhitungan manusia.
Kami mengembangkan sebuah permainan yang disebut TagATune yang menggunakan baru ini
mekanisme untuk mengumpulkan tag untuk musik dan klip suara, dan
statistik yang disajikan pada data yang dikumpulkan selama periode sevenmonth setelah pertandingan diluncurkan. Hasil (lihat
Tabel 3) menunjukkan bahwa popularitas dan throughput
TagATune lebih unggul game perhitungan manusia lainnya
untuk mengumpulkan metadata musik. Selain itu, ini mekanisme baru ini mudah extensible untuk foto dan video, dan
sudah diadopsi untuk mengumpulkan data dalam domain lainnya
dimana data input berbasis teks.
UCAPAN TERIMA KASIH
Banyak terima kasih kepada Jean-Julien Aucouturier untuk wawasan
yang
diskusi, Mike Crawford dan Edison Tan untuk membantu mereka
dengan suksesnya penyebaran permainan, dan Susan
Hrishenko dan CHI 2009 pengulas umpan balik mereka
di atas kertas ini. Karya ini sebagian didukung oleh
murah hati hadiah dari Heinz Endowment dan Denda
Yayasan, dan oleh hibah peralatan dari Intel Corporation. Luis von Ahn sebagian didukung oleh Microsoft
Penelitian Baru Fakultas Fellowship dan MacArthur
Fellowship.
diskusi, Mike Crawford dan Edison Tan untuk membantu mereka
dengan suksesnya penyebaran permainan, dan Susan
Hrishenko dan CHI 2009 pengulas umpan balik mereka
di atas kertas ini. Karya ini sebagian didukung oleh
murah hati hadiah dari Heinz Endowment dan Denda
Yayasan, dan oleh hibah peralatan dari Intel Corporation. Luis von Ahn sebagian didukung oleh Microsoft
Penelitian Baru Fakultas Fellowship dan MacArthur
Fellowship.
REFERENCES
1. Hacker, S. and von Ahn, L. Matchin:
Eliciting User
Preferences with an Online Game. To appear in
Proc. of
the SIGCHI Conf. on Human Factors in Computing
Systems (Boston, April 4-9). ACM, New York,
2009.
2. Healey, P., Swoboda, N., Umata, I., and
King, J.
Graphical language games: interactional
constraints on
representational form. Cognitive Science, 31:285-309,
2007.
3. Kim, Y.E., Schmidt, E., and Emelle, L.
MoodSwings: A
collaborative game for music mood label
collection. In
Proc. 9th Intl. Conf. on Music Information
Retrieval
(Philadelphia, September 14-18). 231-236,
2008.
4. Lamere, P. Social tagging and music
information
retrieval.
Journal of New Music Research. 37(2):101-
104, 2008.
5. Law, E., von Ahn L., Dannenberg, R., and
Crawford M.
TagATune: a game for music and sound
annotation. In
Proc. 8th Intl. Conf. on Music Information
Retrieval
(Vienna, September 23-27). 361-364, 2007.
6. Law, E., Mityagin, A., and Chickering, M.
Intentions: A
game for classifying search query intent. In submission.
7. Lee, B. and von Ahn, L. Squigl: A Web game
to
generate datasets for object detection
algorithms. In
submission.
8. Ma, H., Gupta, A., and Chandrasekar, R.
Page hunt,
page race and page match: using competitive
and
collaborative games to improve Web search and
understand user behavior. In submission.
9. Mandel, M. and Ellis, D. A Web-based game
for
collecting music metadata. Journal of New Music
Research. 37(2):151-165, 2009.
10.Mityagin, A. and Chickering, M.
PictureThis.
http://club.live.com/Pages/Games/GameList.aspx?game
=Picture_This
11.Siorpaes, K. and Hepp, M. Games with a
purpose for the
semantic Web.
IEEE Intelligent Systems, 23(3):50-60,
2008.
12.Turnbull, D., Liu, R., Barrington, L., and
Lanckriet, G.
A game-based approach for collecting semantic
annotations of music. In Proc. 8th Intl. Conf.
on Music
Information Retrieval (Vienna, September 23-27). 535-
538, 2007.
13.von Ahn, L. Games with a purpose. IEEE Computer
Magazine, 39(6):96-98, 2006.
14.von Ahn, L. and Dabbish, L. Labeling images
with a
computer game. In Proc. SIGCHI Conf. on Human
Factors in Computing Systems (Vienna, April 24-29).
ACM, New York, 319-326, 2004.
15.von Ahn, L. and Dabbish, L. Designing games
with a
purpose.
Communications of the ACM, 51(8):58-67,
2008.
16.Weinberger, D. How tagging changes peoples
relationship to information and each other.
Pew Internet
& American Life Project.
http://www.pewinternet.org/
pdfs/PIP_Tagging.http://www.cs.cmu.edu/~elaw/papers/tagatune.pdf
