|
Türk Kardiyol Dern Arş 2002; 30:762-767
| |
Cilt: 30 Sayı: 12 |
Aralık 2002 |
|
TKD|Bilimsel Etik: Bölüm IBilimsel Yanıltmanın Günümüzdeki Durumu: Türleri, Nedenleri, Önlenmesi ve Cezalandırılması
Bilimsel Etik: Bölüm IBilimsel Yanıltmanın Günümüzdeki Durumu: Türleri, Nedenleri, Önlenmesi ve CezalandırılmasıResearch Ethics and Scientific Misconduct in Biomedical ResearchProf.Dr. Emin KANSU* ve Prof.Dr. Şevket RUACAN*, E. Kansu, Ş. Ruacan,
Bilim dünyasında emek verenlerin gelenekleri
Bilim dünyasında emek verenlerin gelenekleri,
belirli standartlar ve değer ölçülerinin yanısıra objektif olma, dürüstlük,
açık sözlülük ve mesleki yönden üstün ahlaklı olma özelliklerini taşımalarını
gerektirir. Bilimsel yanıltma (scientific misconduct) araştırmanın değerini
veya güvenirliğini azaltan her türlü girişim olarak tanımlanmaktadır.
Ancak, bu tanımı yaparken disiplinsiz ve düzensiz araştırma (sloppy
research) kavramı ile bilimsel yalancılık/yanıltma (fraud) kavramını
birbirinden ayırmak gerekir. Disiplinsiz ve düzensiz araştırma yapan bir araştırıcı,
araştırma planlanmasını, uygun metod seçimini, metodları uygulamasını,
sonuçların analizini ve yorumunu bilmemektedir. Bilimsel saptırma veya yalancılık
(Fraud) ise araştırıcının bilinçli olarak ve amaçlı bir yaklaşımla çalışmanın
metod veya sonuçlarını "kötü niyetle" saptırması ve değiştirmesi
olarak tanımlanmaktadır. Bilimsel yalancılığın hiçbir özürü yoktur.
Birey şüphe üzerine uygun ve objektif yöntemlerle incelenmeye alınmalı ve
bilimsel yalancılık deliller ile kesinleşecek olursa kendisine gereken ceza
muhakkak verilmelidir. Bilimsel yalancılığın önlenmesinde üç genel yaklaşımın
yararlı ve önemli olduğu üzerinde durulmaktadır: a) Araştırıcıların eğitimi
ve öğretimi, b) Araştırıcılar üzerinde baskıları azaltmaya yönelik
tedbirlerin alınması, ve c) Araştırıcılar üzerinde mali baskıların
azaltılması. Araştırıcının bilimsel yanıltma ve saptırma yaptığı
belirlenecek olursa yasal cezai hükümler muhakkak uygulanmalıdır. Sonuçlarının
başkalarına ve hastalara zarar vermesi önlenmiş olmaktadır.
Dünyanın çeşitli ülkelerinde bilimsel yanıltmaların
Dünyanın çeşitli ülkelerinde bilimsel yanıltmaların
(Scientific Misconduct) ortaya çıkarılması son zamanlarda akademik
ortamlarda endişe yaratan bir konu haline gelmiştir. Özellikle batı Avrupa
ülkelerinin yetkili organları Avrupa Tıp Araştırma Konseyleri (European
Medical Research Councils), Amerika Birleşik Devletleri ve Kanada bu konuyu,
kamu sektöründe ve ülkedeki bilimsel dürüstlüğü garanti altına almak yönünden
çok ciddi bir yaklaşımla ele almaktadır.
Araştırmalar, üniversite, kamu veya özel kuruluşların bütçeleri
tarafından desteklenmektedir. Destekleyen kuruluşlar destekledikleri araştırıcı
veya araştırıcıların bilimsel ve profesyonel çalışma standartlarına
eksiksiz tümüyle riayet edeceklerine olan güvenleriyle destek verirler. Her
ülkede başta ülkenin en üst düzey bilimsel koordinasyon kurumu olmak üzere
(TÜBİTAK ve TÜBA gibi), Üniversiteler ve üniversite dışı bilimsel kuruluşlar
bünyelerinde sürdürülen araştırmalarda bilimsel araştırma etiği genel
standartlarının yürürlükte olduğundan emin olmak ve aralıklarla denetimi
sürdürme sorumluluğunu taşımaktadır.
Bilim dünyasında emek verenlerin gelenekleri, belirli
standartlar ve değer ölçülerinin yanısıra objektif olma, dürüstlük, açık
sözlülük ve mesleki yönden üstün ahlaklı olma özelliklerini taşımalarını
gerektirir. Yüzyıllardır, bilim adamları birbirlerine inanmak durumunda kalmışlardır
ve herhangi birinin dürüst olmayan bir davranışı ortaya çıktıktan sonra
o kişinin veya grubunun araştırmaları bilim dünyasında tüm değerini
kaybetmiştir. Bu nedenle, bilimsel yanıltma veya aldatmacaların iyi değerlendirilmesi,
doğru tanınması ve gereken tedbirlerin zamanında alınması büyük bir önem
taşımaktadır.
Bilimsel yanıltma (scientific misconduct) araştırmanın değerini
veya güvenirliğini azaltan her türlü
girişim olarak tanımlanmaktadır. Ancak, bu tanımı
yaparken disiplinsiz ve düzensiz araştırma (sloppy research) kavramı ile
bilimsel yalancılık/yanıltma (fraud) kavramını birbirinden ayırmak
gerekir. (Şekil 1).
a) Disiplinsiz araştırma (Sloppy Research)
Disiplinsiz ve düzensiz araştırma yapan bir araştırıcı,
araştırma planlanmasını, uygun metod seçimini, metodları uygulamasını,
sonuçların analizini ve yorumunu bilmemektedir. Araştırıcı, yaptığı
yanlışlarının "iyi niyetli" olarak farkında değildir ve yanlışlarını
bilmeden güvenilir olmayan sonuçlar üretmektedir. Bu şekilde bilgisizce yanlış
sonuç üreten araştırıcıların muhakkak dikkati çekilmeli, kendilerine araştırma
eğitimi verilmeli, araştırma disiplini öğretilmeli ve yaptıkları araştırmalar
yakınen takip edilmelidir. Bu özellikteki bilimsel yanıltmalar iyi ve
disiplinli bir araştırma eğitimi sonucu düzeltilebilir ve araştırıcılar
bilime olumlu bir yaklaşımla kazandırılabilmektedir.
b) Bilimsel Yanıltma veya Yalancılık (Scientific Fraud)
Bilimsel yanıltma, saptırma veya yalancılık (Fraud) ise
araştırıcının bilinçli olarak ve amaçlı bir yaklaşımla çalışmanın
metod veya sonuçlarını "kötü niyetle" saptırması ve değiştirmesi
olarak tanımlanmaktadır. Bilimsel yalancılığın hiçbir özürü yoktur.
Birey şüphe üzerine uygun ve objektif yöntemlerle incelenmeye alınmalı ve
bilimsel yalancılık tesbit edilecek olursa kendisine gereken ceza muhakkak
verilmelidir.
Bu yazıda bilimsel yanıltma veya yalancılığın şekilleri,
nedenleri ve önlenmesinde düşünülmesi gerekli yaklaşımlar belirtilmiştir.
Bilimsel yanıltma (Scientific
Misconduct) temelde 3 grupta toplanmaktadır
:
1. Bilimsel korsanlık (piracy): Başka araştırıcıların
verilerini kendi izni olmadan almak, ve çalışmanın herhangi bir bölümüne
yerleştirmek
2. Bilimsel Aşırma (plagiarism): Başkalarının fikir,
yazı ve çalışmalarını alarak, (aşırma) aldığı kişilere gereken şekilde
atıf yapmadan kendisininki gibi göstermek, söylemek veya yayınlamak.
3. Uydurma, Yalan Yazma, Yoktan Var Etme: Verilerin
"saptırılması" veya varolmayan bilgilerin/verilerin "yoktan
varedilmesi" (fabrication, falsification "desk - research" veya
"dry - lab")
BİLİMSEL YANILTMA NEDENLERİ
Bilimsel dürüstlüğün dışına çıkılmasına etki eden
faktörler çok çeşitli olmakla birlikte, bireyin yetersiz araştırma eğitimi
ve araştırma eğitimi disiplini almamış olması başta gelen nedenler arasındadır.
Kişisel olarak kurumda veya akademide hızlı yükselme hırsı, başkalarının
kendisinin olumlu ve başarılı tanımalarını arzulama, ismini sık sık yayınlarda
görme arzusu (Hollywood Sendromu), kurumun veya bölümün aşırı ve oransız
baskısı (projelerinin destekli olmasını isteme v.b.), "fazla yayın =
fazla prestij" duygusu, parasal kazanç hırsı ve nadiren de psikiatrik kişisel
bozuklukların bilimsel yanıltma ve yalancılıkta etken rol oynadığı düşünülmektedir.
Genelde tıptaki uygulamalarda, bilimsel yanıltmaların sık
olmadığı kabul edilirken, az sayıda da olsa bu gibi durumların ortaya çıkması
bu konuda çok titiz ve kurallara uygun davranılması, kurumlardaki yöneticilerine
ve çalışanlarına belirli sorumluluklar verdiği açıktır. Bilimde yanıltma
ve saptırmaların sıklığı konusunda değişik çalışmalar mevcuttur.
Amerika Birleşik Devletleri Ulusal Sağlık Enstitüsü (NIH) bünyesinde
bulunan Bilimsel Etik Kurulu'na Mart 1989 ile Mart - 1991 tarihleri arasında
bilimsel yanıltma olduğu düşünülen 200'den fazla müracaat olmuş ve
bunlardan ancak 30'unda inceleme sonucunda iddianın doğru olduğu görülmüştür
(1). Ulusal Sağlık Enstitüsü (NIH) tarafından yılda ortalama 26.000 araştırma
projesinin desteklendiği düşünülecek olursa, bilimsel saptırma yapan araştırıcı
oranının çok düşük olduğu açıkca görülmektedir. A.B.D.'de Ulusal
Bilim Vakfı (National Science Foundation - NSF) desteği ile yürütülen bir
çalışmada 2000 doktora derecesi programında olan aday ve 2000 fakülte öğretim
üyesi olmak üzere toplam 4000 kişiye anket uygulaması ile bilimsel yanıltma
konusu araştırılmıştır. Bu uygulamada anketler kimya, inşaat mühendisliği,
mikrobiyoloji ve sosyoloji bölümlerindeki öğrenci ve öğretim üyelerine dağıtılmıştır.
Öğrenci ve öğretim üyelerinin %6 ile %9'u en az bir kez fakültede
"bilimsel yanıltma" ya şahit olduklarını ifade etmişlerdir. İnşaat
mühendisliği ile sosyoloji öğretim üyelerinin %40'ı doktora öğrencilerinde
ve %18'i kendi meslekdaşlarında bilimsel saptırma ile plagiarism
izlediklerini belirtmişlerdir. Mikrobiyoloji doktora öğrencilerinin %12'si öğretim
üyelerinin bilimsel yanıltma yaptığını ifade ederken, kimya öğrencilerinin
%20'si anketlerde arkadaşlarının bilimsel yanıltma yaptıklarını gözlediklerini
belirtmişlerdir (2).
Bilimsel yanıltma (scientific misconduct)'nın sıklığını
belirleme konusunda yeni çalışmalara gereksinim olduğu açıktır. Ancak
bilim dünyasında bu oranların genelde çok yüksek olmadığı düşünülmektedir.
Dünya üzerinde bilimsel yanıltma ve yalancılık konusunda
çeşitli araştırıcıların dosyaları üzerinde durulmuştur. Bunlar arasında,
W.G. McBride (1961 - 1982), Alsabti (1975 - 1978) davası, Gullis (1970), Buck
ve Goutsmit (1990), Soman (1972), Darsee (1983) ile Imanishi - Kari ve D.
Baltimore (1989 - 1991) sayılabilir.
BİLİMSEL YALANCILIĞIN ÖNLENMESİ
Bilimsel yalancılığın önlenmesinde üç genel yaklaşımın
yararlı ve önemli olduğu üzerinde durulmaktadır:
1. Araştırıcıların eğitimi ve öğretimi
2. Araştırıcılar üzerinde baskıları azaltmaya yönelik
tedbirlerin alınması
3. Araştırıcılar üzerinde mali baskıların azaltılması.
Bu yaklaşımları sırasıyla ele alabiliriz:
1. Eğitim ve Öğretim
Bilimsel yanıltmaları önlemek amacıyla yapılması öngörülen
eğitim ve öğretim'in prensipleri aşağıdaki şekilde özetlenebilir.
I. Üniversite ve diğer eğitim kurumlarında mezuniyet - öncesi
ve mezuniyet - sonrası dönemde, daha da önemlisi araştırma yapan gruplara
etik standartların öğretilmesi gerekmektedir. Bu konuda temel sorumluluk
kurumlardaki işverenlerde olmalıdır ve her kurumun "İyi Araştırma İdaresi"
(Good Research Management) konusunda kendi prensiplerini saptaması gerekir. İyi
Araştırma idaresi konusunda her kurum evrensel ölçülerde araştırma
metodolojisi, veri toplama ve saklama, veri analizi ile yorum ve yayın konularında
standartları öğretmeli, uygulamalı ve denetimini yapmalıdır.
II. Her genç araştırıcının yeterince danışmanlık
alabilmesine özen gösterilmesi ve danışmanların sorumluluğuna çok sayıda
araştırıcı adayı verilmemesi uygundur. Genelde her bir danışman iki'den
fazla öğrencinin sorumluluğunu almamalıdır.
III. Araştırma verilerinin herzaman incelenmeye hazır, düzenli
ve eksiksiz, kurumca tasdikli defterlere yazılması ve defterler ile dökümanların
en az beş yıl süreyle saklanmasının gereği üzerinde önemle durulmalıdır.
IV. Veri analizleri ve istatiksel hesaplar ile danışmanlık
hizmetlerinin konunun uzmanlarınca yapılmasına özen gösterilmelidir. Araştırıcılara
erken dönemde özellikle bilimsel etik ve istatistik konularında etraflı bir
eğitim verilmelidir.
V. Araştırmaların yayına gönderilmeden önce verilerinin
tamamının üst düzeyde ve araştırmanın yürütülmesinden sorumlu üyeler
tarafından incelenmesi gerekmektedir. Yayında ismi olan her birey çalışmayı
etraflıca ve titizlikle okumalı, kanıtlayıcı bilgileri imzalamalı ve ilk
yazara yayın hakkı için yetki vermelidir. Yayınlarda uygun sitasyonlar açık
bir ifadeyle yapılmalı ve yayınların seçimine titizlikle dikkat
edilmelidir.
VI. Araştırma verilerinin yayınlarda ve metod kayıtlarında
diğer araştırıcılar tarafından da kolaylıkla tekrarlanabilmesine ve bağımsız
denetime kolaylıkla imkan verebilecek şekilde çok etraflı sunulması
gerekir.
Ayrıca, araştırma yürüten kurumlarda yüksek bilimsel
denetim ve değerlendirme kriterlerinin saptanmasının uygulanan araştırmaların
kalitesini olumlu etkileyeceği ve bilimsel yanıltmaları engellemede önemli
rol oynayacağı düşünülmelidir (3).
2. Bilimsel Yalancılığa Neden Olabilecek Bazı Baskıların
Azaltılmasına Yönelik Tedbirler
I. Yayın yapma konusunda genç araştırıcılara
"gereksiz" baskıdan kaçınılmalıdır. Bilimde gelişim için yayının
önemi hiç tartışılmaz iken genç araştırıcıların akademik yükselmelerinde
"ölçüt" olarak yayınları alındığında konu bir "baskı"
unsuru olabilmektedir. Bu nedenle, özellikle araştırmaya yeni başlayan gençlere
spekülatif konuların proje olarak verilmesi yerine, kurulu teknikleri
kullanarak uygun bir zaman birimi içinde sonuç alabilecekleri araştırmalara
özendirilmeleri gerçekci bir yaklaşım olacaktır. Araştırıcı daha
kariyerinin ilk döneminde gereksiz baskıdan kurtarılmalı ve sonuç alabileceği
araştırma projeleri ile bilimsel çalışmalarına başlama imkanı elde
edebilmelidir.
II. Kurumlarda araştırıcılara ve genç adaylara yayın
sayılarının değil, yayınlarının kalitesini çok önemli olduğunun eğitiminin
verilmesi gereği ve önemi üzerinde durulmalıdır.
III. Akademik yükseltmelerde adayın kendince "önemli"
gördüğü yayınları, örneğin 5 ila 10 adet belirlemesi istenebilir.
3. Araştırıcılar Üzerindeki Mali Baskıların Azaltılması
ve Düzenlenmesi
Tıp araştırmaları bazı alanlarda yeterli mali destek
bulabilmektedir. Ancak, son yıllarda bazı farmasötik sanayi kuruluşları araştırıcılara
ve ünitelere klinik çalışmalar için ödemeler yapabilmektedir. Özellikle
firmaların kurumlar içindeki araştırmalara verdikleri mali desteklerin ve bütün
sözleşmelerin kurumun mali ve idari organlarınca denetimi altında ve bilgisi
dahilinde olmasına özen gösterilmelidir. Bütün mali desteklerin kurumun
etik ve idari yetkili gruplarınca onaylanması gerekmektedir.
BİLİMSEL YANILTMA (MISCONDUCT) YAPANLARLA İLGİLİ SORUŞTURMA
Herhangi bir iddia varlığında gereken yasal girişimler
kurum içinde başlatılmalı, soruşturmalar tam bir gizlilik içinde ve hızlı
bir şekilde yürütülmelidir. Soruşturma, sonuçlanan araştırıcının saygınlığını
ve haysiyetini zedelemeyecek şekilde olmalıdır. Araştırıcının bilimsel
yanıltma ve saptırma yaptığı belirlenecek olursa yasal cezai hükümler
uygulanmalıdır. Örneğin, 1983 yılında Darsee davasında olduğu gibi araştırıcının
saptırma ve yalan ifadeler kullandığı verileri tespit edilen bütün yayınları
uluslararası literatürden daha önce yayınlandığı aynı mecmualarda ilan
edilerek bilim dünyasından geri çekilmiştir (Retraction), (ref.NEJM) Böylece
yanıltma ihtiva eden bir yayının sonuçlarının başkalarına ve hastalara
zarar vermesi önlenmektedir ve yanıltma olduğu ispatlanan her bilimsel
makaleye uygulanmalıdır.
Herhangi bir kurumda bilimsel araştırma sürecinde yanıltma
veya saptırma şüphesiyle soruşturma açılması kararı verilmiş ise, üyesi
bulunduğumuz "Avrupa Bilimsel Dürüstlük ve Doğruluk Komitesi"nin
bu konuda belirlediği esaslar şunlardır:
- Soruşturma, yazılı bir şikayet üzerine şüpheli bilimsel yanıltma
veya yalancılığın yer aldığı kurum içinde yapılmalıdır.
- Soruşturma Komisyonu birden fazla üyeden oluşmalıdır ve soruşturma büyük
bir gizlilik içinde yürütmelidir. Suçlanan kişiler, öğretim üye ve
elemanları suçları ispatlanana kadar "dürüst ve suçsuz"
olarak kabul edilmelidirler.
- Soruşturma Komisyonu tüm soruşturma, mülakat ve araştırmalarını en
hızlı bir şekilde (tercihan en fazla 3 ay) tamamlayarak yine en kısa sürede
ilgili kurum yetkilisine soruşturma dosyasını sunmalıdırlar.
Bilimsel yanıltma ve bilimsel yalancılık (Scientific
Misconduct and Scientific Fraud) yaptığı soruşturma komisyonunca tesbit
edilen ve suçlu bulunan öğretim elemanı ve öğretim üyesinin aynı kurumda
çalışması genelde öğrencilere vereceği örnek ve öğretim üyeleri ile
olan güvenden yoksun ilişkileri nedenleriyle disiplin suçları Araştırma
Komisyonu'nun vermesi gereken kararları özeti aşağıda sunulmuştur:
- En az 3 yıl en fazla 5 yıl süreyle mezuniyet - öncesi ve - mezuniyet
sonrası eğitime katılmaması
- Klinik sorumluluğu taşıyor ise, klinik konsültanlığı, servis
sorumlusu ve benzeri görevlerden en az 3 yıl ile en fazla 5 yıl süreyle
men edilmesi,
- Hiçbir İdari görev verilmemesi
- Üye olduğu veya alanı nedeniyle katıldığı ulusal ve uluslararası
bilimsel toplantılarda sözel, poster bildirileri veya konuşma yapmasının
yasaklanması.
Yazılı ihbar üzerine yönetimce oluşturulan Soruşturma
Komisyonları bir akademisyeni suçlu buldukları taktirde etraflı ve gerekçeli
raporlarını kurum yöneticilerine, şikayeti başlatan araştırıcılara ve
kişiye vermekle sorumludur.
"Bilimsel yanıltma ve yalancılık" belgelerle
kesinleştikten sonra soruşturmacıların veya soruşturma sisteminin gereği
olarak uygun tıp literatüründe "anonim" nitelikte ve editorial türde
bir yazı ile olayın bilim dünyasına duyurulması gerekmektedir.
Bir akademik kurumda, "Bilimsel Yalancılık veya
Bilimsel Yanıltma" yapıldığı ortaya konulduktan sonra kurum yöneticilerinin
uygulaması gereken bazı kurallar tanımlanmıştır:
- Suçu sabitleşen öğretim üyesi (leri) veya grubu kurum ile ilişiğinin
kesilmesi,
- Çalışmasını başka bir yere veya başka bir çalışma içine
naklinin engellenmesi
- Devlet, özel veya diğer destekli araştırmalardan men edilmesi ve yeni
hiçbir mali destek verilmemesi,
- Üniversite çatısı altında uygulamalı, teorik ve hiçbir tür eğitime
katılmaması,
- Almış olduğu mali proje desteklerini geri vermesinin istenmesi,
- Kazanmış Akademik derecelerinin iptali, ve
- Kurum'dan istifasının yazıyla istenmesi
Bu yaptırımları harfiyen uygulamayı gerçekleştirme güvencesinde
yaşayan İskandinav Ülkeleri, Batı Avrupa, A.B.D. eyaletleri ve Kanada'daki
öğretim üye ve elemanları cezai yaptırımlar fiilen işleme geçmeden önce
bağlı bulundukları kurumdan resmen ayrılmayı tercih etmektedir.
Sonuç olarak, bilimsel saptırma, yanıltma veya bilimsel
yalancılığın bilim evreninde sık olmadığını kabul etmeliyiz.
İnsan davranışı içinde bu gibi sapmalara meydan
vermeyerek bilimsel etik, bilimsel ahlak ve doğru araştırma yöntemlerini araştırıcılara
mezuniyet - öncesi ve sonrası dönemlerde öğretmeli ve denetimini yakından
yapmalıyız. Akademik ve mali baskılarla bilimsellikten sapma gösterebilecek
bireyleri belirlemeli, kendilerini eğitmeli ve bu faktörlerin en aza
indirilmesine çaba göstermeliyiz. Akademik yükseltme ve değerlendirmelerde
evrensel ölçütler kullanmalı ve bilimsel çalışma örneklemelerini
adaylardan talep etmeliyiz. Bilimsel yanıltma yaptığı konusunda bir iddia
varlığında soruşturmalar, araştırıcının kişiliğini ve onurunu
zedelemeden tam bir gizlilik içinde
ve kurumca yürütülmelidir.
Yazımı prestijli bir tıp dergisi olan New England Journal
of Medicine'in emeritus editör'ünden aldığım cümle ile bitirmek istiyorum:
"Deneylerin ve çalışmaların dikkatli uygulanması, dürüst
ve açık olarak takdim edilmesi şartıyla bilimde yanlış yapmak hiçbir
zaman bir suç sayılmaz".
Kaynaklar
Responsible Science
- Responsible Science, Ensuring the Intergrity of the Research Process.
Volume I. National Academy Press. Washington, D.C. 1992. s. 1-16
- Swazey JP, Anderson MS, Lewisks, Ethical Problems in Academic Research.
American Scientist 1993;81:542-53
- Harvard Medical School. Guidelines for Investigators in Scientific
Research. Cambridge, Massachusetts. 1988
- Scientific Dishonesty and Good Scientific Practice. Edited by D.
Anderson. L. Attrup, N. Axeisen and P. Riis. Published by the Danish
Medical Research Council. 1992; s. 19-37
- Darsee Affair. Retractions. New Engl J Med 1983;308: 1400
Alındığı ve kabul tarihi
Alındığı ve kabul tarihi: 25 Ekim 2002
Yazışma adresi: Prof. Dr. Emin Kansu, Hacettepe Üniversitesi,
Onkoloji Enstitüsü Temel Onkoloji Anabilim Dalı, 06100 Sıhhiye-Ankara
Tlf: (0 312) 305 2865 Fax: (0 312) 324 2090
|