Makale Nasıl Değerlendirilir ? *

Prof Dr Arif KAYGUSUZ

Cerrahpa?a T?p Fakültesi, Mikrobiyoloji ve Klinik Mikrobiyoloji Anabilim Dal?, ?STANBUL
This email address is being protected from spambots. You need JavaScript enabled to view it.

                               
Ba?l?ktaki sorunun yan?t? üç grup için önem ta??maktad?r. Birincisi makale yazarlar?, ikincisi dergi editörü ve üçüncüsü de editörün makaleyi de?erlendirmek için seçti?i hakemlerdir. Bu bölüme kadar makale yazarken nelere dikkat edilmesi gerekti?i tek tek bölümler halinde ayr?nt?l? ?ekilde anlat?ld?. Asl?nda tüm bu bölümler, dergi editörü ve hakemlerin bir makaleyi de?erlendirirken nelere dikkat ettikleri göz önüne al?narak yaz?lm??lard?r ve dolay?s? ile ba?l?ktaki sorunun yazarlar? ilgilendiren yan?tlar? bu bölümlerde bulunmaktad?r. Ba?l?ktaki sorunun  editörleri ilgilendiren yan?tlar? da  bir önceki “Editör nelere dikkat eder ?” bölümünde verilmi?tir. Bu bölümde ise eksik kalan bilimsel hakemlik konusu üzerinde durulacak ve bir bilimsel hakemin kendisine gönderilen bir makaleyi nas?l de?erlendirmesi gerekti?i anlat?lacakt?r.

            Bir ara?t?rman?n kabul görmesi için yay?nlanmas? gerekir.  Ara?t?rma; özenli sorgulama, kabul edilegelmi? yarg?lar?n de?i?tirilmesi amac?yla, yeni bulgular?n ?????nda yap?lan, genellikle ele?tirel ve çok kapsaml? inceleme ve deneyler olarak tan?mlan?r (13). Bu tan?m? aktard???m kitab?n TUB?TAK taraf?ndan yap?lan 6. bask?s?nda 1800’lerde 100 kadar olan bilimsel dergi say?s?n?n, her 15 y?lda ikiye katlanarak 1975’li y?larda 100.000’lere ula?t??? ve gelmi? geçmi? tüm bilim adamlar?n?n % 80-90’?n?n bugün aram?zda ya?amakta oldu?u belirtiliyor. Yine ayn? kitapta “ publish or perish (yay?nla ya da yok ol )” bask?s? sonucu senteze ula?ma olas?l???n? gitgide dü?üren, ?i?irilmi? bir kitap ve makale seli ile kar?? kar??ya oldu?umuz anlat?l?yor.

Günümüzde Web of Science kapsam?ndaki dergilerde, y?lda yay?nlanan bilimsel makale say?s?, yar?ya yak?n? sa?l?kla ilgili alanlarda olmak üzere 1 milyonu a?m??t?r. 2003’te ülkemizde sa?l?k alan?nda 350 civar?nda dergi yay?nlan?yordu. Demek ki bu makale ve dergi enflasyonundan biz de pay?m?z? alm???z.

Çe?itli uzmanl?k alanlar?n?n ortaya ç?kmas? ve giderek artan makale say?s?, dergi editörlerinin i?lerini zorla?t?rmaya ba?lam??t?r. Bu nedenle özellikle ikinci dünya sava??ndan sonraki y?llarda, dergi editörlerinin makaleleri de?erlendirmek üzere bilimsel hakemlerden yard?m istemeleri giderek yayg?nla?m??t?r.

Bilimsel Hakemlik

Bilimsel Hakemlik; bilimsel bir çal??man?n bulgular?n?, yeterlilik, önem ve orijinallik aç?s?ndan, ehliyetli uzmanlarca de?erlendirme i?lemi olarak tan?mlanmaktad?r (9). 

Çe?itli kaynaklarda referee (hakem), reviewer (ele?tirmen), peer review (meslekta? de?erlendirmesi / meslekta? ele?tirisi), assessor (dan??man) kelimeleri bilimsel hakemlik anlam?nda kullan?lmaktad?r. Baz? yazarlar bir makalenin yay?nlan?p yay?nlanmama karar?n?n editöre  ait oldu?unu ve bu nedenle hakemlerce yap?lan i?in hakemlik de?il de, makaleye yap?lan bir ele?tiri veya editöre yap?lan bir dan??man tavsiyesi oldu?unu belirtmektedir. Bununla birlikte editörler, her zaman hakemlerden makalenin kabulü veya reddi konusunda görü? isterler. Karar verirken de genellikle hakemlerin önerilerini dikkate al?rlar ve nadiren hakemlerin görü?ünün aksini yaparlar. Bu nedenle bilimsel hakemlik bir futbol maç?n? yöneten yan hakemlerin yapt??? i?e benzetilebilir. Bu durumda yap?lan i? (bayrak kald?rma) ele?tiri ve tavsiyenin ötesinde ve editörün karar?na (hakemin düdük çal?p çalmamas?na) etki  edecek önemdedir. Bununla birlikte bilimsel hakemin tek görevi bir makalenin kabulü veya reddi karar?nda yer almak de?ildir. Asl?nda bilimsel hakemin en önemli görevi bir makalenin en iyi ?ekle getirilip bas?lmas?n? sa?lamakt?r. Bu aç?dan bak?ld???nda hakem asl?nda çal??may? yapan grubun bir üyesi gibidir.

Bir makale bir dergiye gönderildi?inde önce editörlerce incelenir. Editörler makalenin derginin alan?na girip girmedi?ini, e?er giriyorsa hakemlere gönderilecek nitelikte bir çal??ma olup olmad???n? incelerler. Bu nedenle bir makale hakemlere gönderilmeden önce de editörlerce reddedilebilir. Örne?in British Medical Journal grubu dergilere gönderilen makalelerin yar?s? editörler taraf?nda reddedilmektedir. Journal of the American Medical Association’ da bu oran % 42 kadard?r. Editörler burada bir elek vazifesi görürler ve nitelikli yay?nlar?n dergilerinde yer almas?na u?ra??rlar. Editör makalenin yay?nlanmas? ve yay?nlanacaksa, en iyi ?ekilde yay?nlanmas? için çal???r. Bu nedenle iyi bir hakem hem yazarlara hem de editöre yard?mc? olmal?d?r.

Editörler a?amas?n? geçen bir makale iki veya 3 hakeme gönderilir. ?ki hakem kullan?ld???nda çeli?kili bir karar olursa üçüncü ve son sözü söyleyecek bir hakemden yard?m istenebilmektedir. Bu durumda makale ve önceki hakemlerin görü?leri bu hakem taraf?ndan de?erlendirilir. 

Bilimsel hakemler dergi editörünce, alan?nda uzman ki?ilerden seçilir. Birçok derginin hakem seçmek üzere çok geni? bir veritaban? bulunmakta ve hakemler bu veritaban?ndan seçilmektedir. Baz? editörler önceden e-posta veya faks ile hakemden de?erlendirmeyi kabul ettiklerine dair onay al?rlar ve makaleyi sonradan gönderirler. Günümüzde bu i?lemler internet üzerinden dergi web sayfalar? ve e-posta ile yürütülmektedir. De?erlendirmeyi kabul eden hakemlere web sitesinden makaleye eri?im için kullan?c? ad? ve ?ifreler gönderilir.

Etik Sorumluluklar

Üzerinde uzun süre çal??m??, tekrar tekrar düzeltilerek yaz?lm??, çal??ma arkada?lar?yla uzun uzun tart???lm??, tablo, ?ekil ve kaynaklar? defalarca gözden geçirilmi? ve imzalanarak bir dergiye gönderilmi? her makale yazar? için önemlidir.  Hakem de asl?nda bir ara?t?r?c?d?r. O da bir makale yazman?n zorluklar?n? ve editörün cevab?n?n heyecanla bekleni?ini ya?am??t?r. Bu nedenle bir taraftan bir meslekta??n?n gayret ve duygular?n? anlay??la de?erlendirme, di?er yandan da editörün kendisine verdi?i görevi hakk?yla yapma gayretinde olmal?d?r. 

Hakemlerden makaleyi titiz, objektif ve duyarl? bir ?ekilde de?erlendirmeleri beklenir.  “Sana nas?l davran?lmas?n? istiyorsan ba?kas?na da öyle davran “ alt?n kural? hakemlik yaparken daima ak?lda bulundurulmal?d?r. Ele?tiriler makaleye yönlendirilmeli, yazarlar muhatap al?nmamal?d?r. 

Son y?llarda baz? dergiler aç?k de?erlendirme yolunu seçmi?lerse de, halen birçok dergi makalenin yazarlar?n? hakemlerden, hakemleri de yazarlardan gizlemektedir. Editör, hakem ve yazar aras?ndaki ili?kiler gizlilik prensiplerine göre yürütülür ve tamamen kar??l?kl? güvene dayan?r. Bu nedenle hakemler de?erlendirmeyece?i bir makaleyi ya da de?erlendirilmesi tamamlanan bir makaleyi e-postas?ndan silmeli (veya posta ile geri göndermeli), makalenin kopyas?n? saklamamal?, makaleyi ba?kas?na göstermemeli veya içeri?inden bahsetmemeli, yay?nlanana kadar çal??malar?nda de?erlendirdi?i makaleden yararlanmamal?d?r. Büyük düzeltme istenilen bir makale tekrar de?erlendirilece?inden, ikinci de?erlendirmeye kadar saklanabilir.

Konuya yabanc? olma, vakti olmama, tart??mal? bir konuda kendi bulgular? nedeniyle taraf olma, yazarlarla ki?isel dostluk veya dü?manl?k ya da ç?kar çat??mas? hallerinde, tarafs?z davranamayaca??na inanan bir hakemin, durumu editöre bildirilerek hakemlikten çekilmesi en iyisidir. Tüm bu nedenlerle adil bir de?erlendirme yapamayaca??n? belirten bir hakemi birçok dergi editörü anlay??la kar??layacakt?r.

Editörler hakemlerin, kendi gözetimindeki genç meslekta?lar?ndan yard?m almalar?na genellikle olumlu bakarlar. Bu nedenle vakti olmayan bir hakem, dergi editöründen de izin alarak makaleyi genç bir meslekta??na inceletebilir. Bu durumda makaleyi inceleyen meslekta??n?n ad? ve hakemin kendi onay? de?erlendirmede yer almal?d?r.

Bilim dünyas?nda bir konunun öncüsü olmak büyük bir prestij getirmektedir. De?erlendirmede gecikme, öncelik ve prestijin geçek sahibinden bir ba?kas?na gitmesine neden olabilir. Bu nedenle de?erlendirme editörün belirtti?i süre içersinde ( genellikle 2-4 hafta aras?nda de?i?ebilmektedir ) bitirilmelidir.

Hakemlik ki?inin kendi bilimsel düzeyini ve bilgisini editörlere gösterme amac?yla yap?lmamal?, ele?tiriler k?sa ve özlü ve gerçekten yararl? olaca??na inan?l?yorsa yap?lmal?d?r. Bununla birlikte çok k?sa de?erlendirmeler, genellikle i?in önemsenmeden yap?ld???n? dü?ündürür. Birçok de?erlendirme 1-2 sayfay? geçmez. Red karar? verilse bile, nedenleri yazara anlat?lmal? ve kendisini geli?tirmesi için f?rsat sunulmal?d?r.
Makalede yay?n eti?ine ayk?r? durum (a??rma, tekrarlama, salamlama vb.) ku?kusu varsa editöre bu durum delilleriyle birlikte aç?klanmal?d?r. Bu durumda karar verici durumda olmamal? ve konunun incelenip sonuçland?r?lmas? editöre b?rak?lmal?d?r. Çal??mada insan veya hayvan haklar? ihlali varsa editöre bildirilmelidir.

De?erlendirme nas?l yap?l?r ?

Bilim dünyas? devaml? bir rekabet içindedir. Bu nedenle editörler kendi dergilerine en iyi yay?nlar?n bulunmas?n? için çal???rlar ve hakemlerin bir makalenin özellikle üç yönünü öncelikle de?erlendirmesi isterler.

1. Çal??ma yenilik getiriyor mu ?

Bütün deneyler bir ele?tiridir. E?er bir deney bilimcinin fikirlerini yeniden gözden geçirmeye neden olacak olanaklar içermiyorsa, o deneyin neden yap?lm?? oldu?unu anlamak zordur… Bilimcinin günlük i?i bilgi toplamak de?il teori s?namakt?r. Bilimde üretkenli?i sa?layan ?ey yarat?c? tahminler yapmakt?r (7).

P.B. Medawar

Her gün bir yerden göçmek ne iyi 
Bulanmadan donmadan akmak ne ho?
Dünle birlikte gitti canca??z?m ne varsa düne ait 
?imdi yeni ?eyler söylemek laz?m 
Mevlana
Bir çal??man?n en önemli özelli?i yenilik getirmesidir. Bilim dünyas?nda gerçekten yeni olan bilgi bulmak zordur. Bu nedenle yenilik asl?nda üzerinde çal???lan bir konuda yeni bir bulgunun aç?klanmas? anlam?na gelmektedir. Tart??mal? olan bir konuda kesin sonuç bulmak da yenilik say?l?r. Daha önceki bulgulara katk? yapan, ya da  o konudaki en kapsaml? bulgular? aç?klayan çal??malar da yeni ve yararl? say?l?r. Daha önce çal???lan ve aç?klanan bir konunun, farkl? bir populasyonda ya da günümüzde de ayn? sonuçlarla tekrarlanmas? ise yenili?in en zay?f? say?l?r.

2. Çal??ma do?ru yap?lm?? m? ?

Bir çal??mada do?rulu?u sa?layan ba?l?ca faktörler; çal??mada kullan?lan yöntemlerin soruna (hipoteze) cevap bulabilecek ?ekilde seçilmesi, uygun çal??ma ve kontrol gruplar?n?n bulunmas? ve istatistik hesaplar?n do?ru ?ekilde yap?lmas?d?r. Yöntemler geçerli, tekrarlanabilir ve kesin sonuç veren yöntemler olmal?d?r. Çal??mada sonuçlar? etkileyecek, kontrol edilmeyen de?i?kenler bulunmamal?d?r.

3. Çal??ma sonuçlar? önemli mi ?

Genç bilimci sadece bilgi toplayarak -özellikle kimseye yarar? olmayan türden bilgiler- ün veya ayr?cal?k kazanaca??n? sanmas?n. Ama dünyay?, teorik veya deneysel yönden daha anla??labilir k?lacak herhangi bir katk?da bulunabilirse meslekta?lar?n?n minnet ve sayg?s?n? kazanacakt?r. 
P.B. Medawar

Bir hipotez olu?turulmas?n? sa?layacak verilere ula?an çal??malar çok de?erlidir ve tüm editörlerce çok önemsenir. Bunun d???nda bir makalenin önemi ve öneminin derecesi dergiden dergiye de?i?ebilir. Klinik t?p konusundaki bir dergide en önemli sonuçlar tedaviyle ili?kili olanlard?r. Bir hastal???n tan?s?nda ya da ciddiyetinin s?n?fland?rmada yeni bir yöntem geli?tiren, ya da daha önce kullan?lan tart??mal? bir metodu geçerli k?lan çal??malar da bu gibi dergiler için önemli çal??ma say?l?r. Hastal?k mekanizmas?n? ya da prognozu tan?mlayan çal??malar da bu dergiler için dikkate de?er çal??malard?r. Buna kar??n Temel t?p bilimleri ile ilgili dergilerde, biyolojik bir sürecin mekanizmas?n?, bir hastal???n mekanizmas?n? aç?klayan çal??malar daha çok önemsenir.

            Genellikle bu üç kritere göre makalenin yay?nlanmas?n?n uygun olup olmad???na karar verilir. E?er makalenin yay?nlanmas? uygun görülüyorsa, bir sonraki a?ama bunun nas?l olaca??na karar vermektir. Bir makalenin oldu?u gibi yay?na kabul edilmesi çok seyrektir. Birçok makale az veya çok de?i?tirilerek yay?nlamaktad?r. Editörler genellikle düzeltmelerin büyük ve küçük düzeltmeler olarak ikiye ayr?lmas?n? isterler. 
Büyük düzeltmeler : Çal??man?n neden yap?ld???n?n yeterince aç?k bir ?ekilde aç?klanmam?? olmas?, çal??man?n iyi planlanmamas?, geçerli olmayan yöntemlerin kullan?lmas? veya kullan?lan metotlar?n ayr?nt?l? ?ekilde anlat?lmamas?, verilen sonuçlar?n aç?k ve kesin olmamas? sonucu ölçümler konusunda ku?ku duyulmas?, sonuçlar?n yetersiz veya a??r? spekülasyonlarla tart???lmas?, var?lan sonucun  yeterli ve objektif olmamams? gibi nedenlerle, hakemlerin yazarlardan yapmalar?n? isteyecekleri düzetmelerdir. Asl?nda bu konulardaki eksik ve yanl??l?klar?n baz?lar? ( örne?in yanl?? planlanm?? bir çal??ma, yanl?? metod veya geçersiz bir metod kullan?lmas? gibi) yazar taraf?ndan düzeltilemeyecek ve makalenin reddi ile sonuçlanacakt?r.

Küçük düzeltmeler : Genellikle makalenin geli?imine katk?s? olan ele?tirilerdir. Giri?in daha iyi yaz?lmas?, ilave kaynaklar?n ve bilgilerin eklenmesi, gramer ve yaz?m hatalar?n?n düzeltilmesi gibi i?lemlerdir.

Genel ve sistematik de?erlendirme

Editörler makalenin sistematik bir ?ekilde de?erlendirilmesini isterler ve hakemlere makale ile birlikte, bu de?erlendirmenin i?lenece?i bir formu (bas?l? ya da elektronik) da gönderirler. Makale bu form doldurularak de?erlendirilir. Bu formlarda ek aç?klamalar için de bölümler vard?r. Büyük ve küçük düzeltmeler makaledeki sayfa ve paragraf ve sat?r numaralar? ile belirtilir. Baz? dergilerde tüm makalede her sat?r numaralanm??t?r ve sadece bu numaralar? belirtmek yeterlidir.

Form gönderilmemi?se, k?sa bir yaz? ile editöre makale hakk?ndaki kanaat belirtilir. Çal??man?n önemi, güçlü ve zay?f yönleri ile nihai karar bildirilir. Bu bölüm yazara iletilmeyece?inden editörle payla??lacak, gizli bilgiler burada belirtilir. Editörün yazarla payla?aca?? ikinci bir sayfaya makale hakk?ndaki ele?tiriler yaz?l?r. Burada makale ba?l??? ve bir paragrafl?k özeti belirtilerek, ele?tiriler s?ralan?r.

Editör hakemden genellikle 4 karardan birisini vermesini ister. Oldu?u gibi kabul, küçük düzeltmelerle kabul, büyük düzeltmelerle kabul veya red.

Makale de?erlendirilirken, makale hakk?nda önemli kanaat verecek giri?, metod, sonuçlar ve tart??ma bölümleri ve yaz?m kalitesi dikkatlice incelenmelidir.

Giri?

Konunun önemi, çal??man?n amac? aç?klanm?? olmal?, konu hakk?nda bilinen ve bilinmeyenleri aç?klamal?d?r. Ayn? konuda daha önceden yap?lm?? önemli çal??ma(lar) atlanmamal?d?r.

Metod

Bir yay?nda teknik ayr?nt?lar? saklay?p, hem ba?kalar?n?n ayn? kaynaktan yaralanarak sürdürebilecekleri yeni ara?t?rmalar?, hem de yay?nlanan çal??man?n bilim-kurgudan öte bir ?ey olmad???n?n ara?t?r?lmas?n? engellemek bilimcilik sanat?n?n a?a??l?k – ve affedilmez – bir hilesidir. 
P.B. Medawar

Metodlar çal??man?n ba?ka biri taraf?ndan tekrarlanabilmesini sa?layacak  ?ekilde aç?k olmal?d?r. Çal??ma için kullan?labilecek farkl? metodlardan çal??mada kullan?lan?n seçim nedeni aç?klanmal?d?r. Çal??ma için seçilen örnek büyüklü?ü istatistiksel olarak hesaplanm?? ve yeterli olmal?d?r. Çal??ma ve kontrol gruplar? istatistiksel anlaml?l?k verecek kadar büyük olmal?d?r. Çal??mada uygun kontroller bulunmal?, deney ve kontrol gruplar? uygun ?ekilde olu?turulmal?d?r. Deney plan? hipotezin s?nanmas? için uygun olmal?d?r.  Ölçümler geçerli yöntemlerle ve do?ru yap?lmal?, neden yap?ld?klar? aç?klanmal?d?r. ?statistik hesaplamalar uygun ?ekilde yap?lmal?d?r. ?statistik hesaplamalar konusunda ku?ku varsa ve hakem bu konuda deneyimli de?ilse, durumu editöre bildirir. Editör gerekli görürse çal??man?n istatistiklerini bu konuda uzman bir dergi çal??an?na veya bir ba?ka hakeme inceletecektir.

Sonuçlar

?yi bir ara?t?rma, zekice planlan?p ustaca uygulanm?? bir deney de?ildir. Kesin sonuç veren bir deneydir. 
P.B. Medawar

Ba?kalar?n?n da de?erlendirebilmesi için, bulgular aç?k ?ekilde belirtilmelidir. Tablo ve ?ekiller ancak gerekli ise konmal? ve kolayca anla??labilecek aç?kl?k ve sadelikte olmal?d?r. Tablo ve ?ekiller derginin istedi?i formatta haz?rlanmal?, çal??ma bulgular? ile yak?ndan ilgili ve çal??ma bulgular?n? aç?klay?c? olmal?d?r. Bulgular metod bölümünde belirtilen ?ekilde saptanm?? olmal?d?r.

 Tart??ma

           Bir gün bir gökbilimci, bir fizikçi ve bir matematikmi? birlikte ?skoçya da?lar?nda yürüyü?e ç?km??lar. Bir süre sonra bir çiftli?in önünde tek ba??na otlayan bir koyun görmü?ler. Uzaktan koyuna bakan gökbilimci “Demek ki da?lardaki koyunlar siyah” demi?.
           Bunun üzerine fizikçi söze kar??arak “Bu kadar çabuk genelleyemezsin” diyerek, konu?mas?n? “Örneklemin çok küçük. Ancak da?lar?n genelinde çok say?da koyunu titiz bir incelmeden geçirdikten sonra böyle bir önermede bulunabilirsin. ?u an için söyleyebilece?in tek ?ey ?skoçya’da siyah koyunlar bulundu?udur” diye sürdürmü? ve matematikçiye dönerek görü?ünü sormu?.
           Bunun üzerine matematikçi ise “Kusura bakmay?n ama ben ikinizle de ayn? fikirde de?ilim. Bu konuda söylenebilecek tek ?ey, ?urada duran hayvan?n bize dönük taraf?n?n siyah olarak göründü?üdür” demi? (5).

Çal??mada ula??lan yeni bulgular aç?kça belirtilmi? ve üzerinde durulmu? olmal?d?r. Var?lan sonucu destekleyen bulgular yeterli olmal?d?r. Sonuçlar?n ba?ka türlü yorumu olas? ise bunlar belirtilmelidir. Mevcut bulgularla önceki veriler tart???lm?? olmal?d?r. Beklenmeyen bir sonuç varsa, bunun üzerinde durulmal? ve olas? nedenler irdelenmelidir. Çal??man?n özgün yönü vurgulanm?? olmal?d?r. Çal??man?n hangi haller ve durumlar için k?s?tl? oldu?u belirtilmelidir. Çal??man?n daha ileri götürülmesi için öneriler bulunmal?d?r.

Yaz?m kalitesi

Bir konuda iyi yaz?lm?? bir yaz? hemen her zaman ayn? konuda kötü yaz?lm?? bir yaz?dan daha k?sad?r; daha da kolay hat?rlan?r. 
P.B. Medawar

?yi bir yaz?m kötü bir çal??may? kurtaramaz ama kötü bir yaz?m iyi bir çal??may? bat?rabilir. Makalenin ba?l?ktan-kaynaklara dek k?sa ve özlü ve do?ru ?ekilde yaz?l?p yaz?lmad???, editörlerce çok önemsenir. Bu nedenle birçok dergide yaz?m ve gramer hatalar?, bu i? için bulundurulan özel sekreterler taraf?ndan düzeltilmektedir. Hakemin yaz?m ve gramer hatalar? üzerinde özellikle durmas? istenmez. Ancak gördü?ü genel hatalar? k?saca i?aret etmesi gerekir.

Not: Okuyuculara çok de?erli hocam, say?n Prof Dr Kurtulu? TÖREC?’nin kaynaklar bölümünde belirtti?im makalelerindeki, bilimsel hakemlik konusunda yazd?klar?n? da okumalar?n? öneririm.

KAYNAKLAR

  1. Benos DJ, Bashari E, Chaves JM, et al. The ups and downs of peer review. Adv Physiol Educ 2007; 31: 145-52.
  2. Benos DJ, Kirk KL, Hall JE. How to rev?ew a paper. Advan Physiol Educ 2003; 27: 47-52.
  3. Cummings P, Rivara FP. Reviewing manuscripts for Archives of Pediatrics & Adolescent Medicine. Arch Pediatr Adolesc Med 2002; 156: 11-3.
  4. DeMaria AN.  How do I get a paper accepted? J Am Coll Cardiol 2007; 49: 1666-7.
  5. Ghose P, Home D. Gündelik Bilmeceler. 3. bask?. TUB?TAK Popüler Bilim Kitaplar?, No:25, 1996.
  6. Macauley D. The role of the manuscript assessor. In: Hall GM (ed): How to Write a Paper ? 3rd ed. BMJ Publishing Group, 2003:114-25.
  7. Medawar PB. Genç Bilimadam?na Ö?ütler. 9. bask?. TUB?TAK Popüler Bilim Kitaplar?, No:5, 1996.
  8. Peat J, Elliott E, Baur L, Keena V. Scientific Writing Easy When You Konow How. BMJ Publishing Group, 2003: 121-46.
  9. Peer Review And The Acceptance Of New Scientific Ideas. http://www.senseaboutscience.org.uk/pdf/PeerReview.pdf
  10. Pierson DJ. The top 10 reasons why manuscripts are not accepted for publication. Respir Care 2004; 49: 1246-52.
  11. Provenzale JM, Stanley RJ. A systematic guide to reviewing a manuscript. Am J Roentgenol 2005; 185: 848-54.
  12. Rosovsky H. Üniversite: Bir Dekan Anlat?yor. 6. bask?.TUB?TAK Popüler Bilim Kitaplar?, No:6, 1996.
  13. Seals DR, Tanaka H. Manuscript peer review: a helpful checklist for students and novice referees. Adv Physiol Educ 2000; 23: 52-8.
  14. Sylvia LM, Herbel JL. Manuscript Peer Review - A Guide for Health Care Professionals. Pharmacotherapy 2001; 21: 395-404.
  15. Töreci K. Bir makale yay?nlamak.In: Aslan G, Emekda? G, Köksal F, Serin MS (eds): IV. Ulusal Sindirim Yolu ile Bula?an ?nfeksiyonlar Simpozyumu: Tutanaklar s.246-259, Mersin (16-20 May?s 2005).
  16. Töreci K. Yay?n eti?i. In: Leblebicio?lu H, Ünal S (eds): Akademisyenin El Kitab?. Bilimsel T?p Kitabevi (bask?da)


*Bu konu yay?nlanmas? dü?ünülen Akademisyenin El Kitab? için haz?rlanm??t?r. Kitab?n yay?nlanmas? çok gecikince editörün izni ile ANKEM web sayfas?nda yay?nlanmaktad?r ve kitapta t?pk? bask?s? yap?lacakt?r.  

 Le'Raven Clark Authentic Jersey